centos7 本地源方式部署 CDH 大数据服务管理平台

置顶 大数据/ CDH
创建时间:
字数:1.8k
  1. 前期准备
    1. 基本条件
    2. IP地址
    3. 主机名
    4. 配置 /etc/hosts
    5. 创建普通用户
    6. 配置普通用户的 sudo 权限
    7. 关闭防火墙
    8. 禁用 SELinux
    9. 卸载 jdk
    10. 最大文件数和最大进程数
    11. 同步时间(重要)
      1. 选择一台服务器作为时间服务器
      2. 安装配置 ntp
  2. 本地源 yum 安装 cloudera-manager
    1. 搭建 yum 本地源
      1. 下载安装文件包
      2. 启动web服务器
      3. 安装 createrepo
      4. 在解压目录中重新生成 repodata
      5. 配置 yum 源
    2. 安装 Cloudera Manager
  3. 安装 cdh (使用推荐的方式: parcels)
    1. 下载文件 parcels 文件
      1. 1. 创建目录:
      2. 2. 移动文件
    2. 登录 cdh-01.com:7180, 进行安装
      1. 登录
      2. 指定主机
      3. 选择 cdh 版本并且设置自定义存储库
      4. 选择安装jdk
      5. 不勾选 Single User Mode , 继续下一步
      6. 填写用户和密码
      7. 开始安装
      8. 分配,解压,激活 parcel
      9. 安装 Cloudera Managerment Service 服务
      10. 依次安装 zookeeper, HDFS, Yarn, Hive, spark 等服务

cloudera manager 是大数据生态集群的企业级管理工具,可以快速对包括 hadoop, hive, hbase, spark … 等众多服务进行部署,监控

前期准备

基本条件

集群: 三台或更多
操作系统: centos7.4.1708
磁盘阵列: JBOD (Hadoop datanode 推荐存储方式)

IP地址

最好是同一网段,同意交换机\机架:

  • 192.168.1.61
  • 192.168.1.62
  • 192.168.1.63

主机名

永久修改:
编辑 /etc/hostname 文件, 修改为自定义的主机名

注意: 主机名中不能用下划线, 使用 hostname 命令修改主机名,重启后会失效, 在 centos7 之前的版本是编辑 /etc/sysconfig/network 文件

修改后对应上节 IP 地址的顺序, hostname 依次为:

  • cdh-01
  • cdh-02
  • cdh-03

配置 /etc/hosts

主机间可互相访问

1
2
3
4
127.0.0.1 localhost
192.168.1.61 cdh-01.com cdh-01
192.168.1.62 cdh-02.com cdh-02
192.168.1.63 cdh-03.com cdh-03

创建普通用户

1
2
adduser big-data
passwd big-data

配置普通用户的 sudo 权限

1
2
3
4
5
6
7
8
9
10
# 安装 sudo
yum -y install sudo
# 对 /etc/sudoers 添加写权限
chmod u+w /etc/sudoers
# 编辑 /etc/sudoers , 在第一行加入用户 big-data 的 sudo 免密权限
    big-data ALL=(root) NOPASSWD:ALL

# 重启用 big-data用户登录
# 收回"写"权限
sudo chmod u-w /etc/sudoers

关闭防火墙

1
2
3
sudo systemctl stop firewalld.service #停止firewall

sudo systemctl disable firewalld.service #禁止firewall开机启动

禁用 SELinux

编辑 /etc/sysconfig/selinux , 设置 SELINUX=disabled,
重启服务器

卸载 jdk

1
2
3
4
# 查看是否有 jdk
    rpm -qa | grep java
# 如果有,则全部卸载
     rpm -e --nodeps xxx yyy zzz

最大文件数和最大进程数

编辑 /etc/security/limits.conf 文件, 加入:

1
2
3
4
* soft nofile 65535
* hard nofile 65535
* soft nproc 32000
* hard nproc 32000

同步时间(重要)

选择一台服务器作为时间服务器

选择 192.168.1.61

安装配置 ntp
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
# 检查有没有 ntp
sudo rpm -qa | grep ntp
# 如果没有,需要安装
sudo yum -y install ntp
# 服务器端:
    # 配置 /etc/ntp.conf
        # 1. 去掉这一行的注释
            restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
        # 2. 注释掉 server 配置
            # server 0.centos.pool.ntp.org iburst
            # server 1.centos.pool.ntp.org iburst
            # server 2.centos.pool.ntp.org iburst
            # server 3.centos.pool.ntp.org iburst
        # 3. 配置 server
            server 127.127.1.0  # local clock
            fudge 127.127.1.0  stratum 10
    # 配置 bois 与系统时间同步 /etc/sysconfig/ntpd
        SYNC_HWCLOCK=yes
    # 启动 ntpd
    
# 客户端同步:
    # Linux crontab, 每十分钟同步一次
    # 查看定时任务 
    crontab -l
    # root 用户编辑定时任务
    crontab -e
        0-59/10 * * * * /usr/sbin/ntpdate cdh-01.com

# 修改时区
cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

本地源 yum 安装 cloudera-manager

选择一个服务器作为 cloudera-manager , 这里选择 cdh-01

搭建 yum 本地源

下载安装文件包

在 http://archive.cloudera.com/cm5/repo-as-tarball/ 地址中选择适合自己的包, 安装 cloudera-manager 所需的包都在这里打包好了
这里选择 http://archive.cloudera.com/cm5/repo-as-tarball/5.14.2/cm5.14.2-centos7.tar.gz
解压到 /home/big-data/www/ 目录下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
.
└── www
    ├── cloudera-manager-installer.bin
    └── cm
        ├── 5 -> /home/big-data/www/cm/5.14.2/
        ├── 5.14 -> /home/big-data/www/cm/5.14.2/
        ├── 5.14.2
        │   ├── generated_index.html
        │   ├── mirrors
        │   ├── repodata
        │   │   ├── 59314c12817f04542a9e66385a5cc7c8f88e2636af083feb0d4918d9b69030c6-filelists.sqlite.bz2
        │   │   ├── 7397d19421876e15dcb2824a8b4d365b6a83f33da3309f57d63ba98fb9c6da6a-primary.xml.gz
        │   │   ├── 74923d5bd069a85a6afb2c0269736451c29a164220f49cb9cda9d119675cb633-other.sqlite.bz2
        │   │   ├── 7d97c61995f807b665e606ee95fe7484efe5adca1af3b37e6945f6a493f5b68c-filelists.xml.gz
        │   │   ├── b57f29c4a2e39730d49be03e1159bf94e3ca96efee80a1bc5ce3d82e6f1c83e5-other.xml.gz
        │   │   ├── bb895b74d4be001bd933ccbd5efaabf51828dd42dd8c2612eb9a8295284d481d-primary.sqlite.bz2
        │   │   ├── filelists.xml.gz
        │   │   ├── filelists.xml.gz.asc
        │   │   ├── generated_index.html
        │   │   ├── other.xml.gz
        │   │   ├── other.xml.gz.asc
        │   │   ├── primary.xml.gz
        │   │   ├── primary.xml.gz.asc
        │   │   ├── repomd.xml
        │   │   └── repomd.xml.asc
        │   └── RPMS
        │       ├── generated_index.html
        │       ├── noarch
        │       │   └── generated_index.html
        │       └── x86_64
        │           ├── cloudera-manager-agent-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
        │           ├── cloudera-manager-daemons-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
        │           ├── cloudera-manager-server-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
        │           ├── cloudera-manager-server-db-2-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
        │           ├── enterprise-debuginfo-5.14.2-1.cm5142.p0.8.el7.x86_64.rpm
        │           ├── generated_index.html
        │           ├── jdk-6u31-linux-amd64.rpm
        │           └── oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
        ├── cloudera-cm.repo
        ├── generated_index.html
        └── RPM-GPG-KEY-cloudera

9 directories, 31 files
启动web服务器

使用 python 自带的web服务模块启动一个简单的web下载服务器:

进入 /home/big-data/www/ 目录

  • python2 版本: 执行 python -m SimpleHttpServer
  • python3 版本: 执行 python3 -m http.server

这样就可以启动一个端口为 8000 的 web 服务了, 可以在浏览器中访问http://cdh-01.com:8000

安装 createrepo
1
sudo yum -y install yum-utils createrepo
在解压目录中重新生成 repodata

进入目录 /home/big-bata/www/cm/5.14 执行 createrepo .

配置 yum 源

复制 /home/big-bata/www/cm/cloudera-cm.repo 到 /etc/yum.repos.d/ 目录中

1
sudo cp /home/big-data/www/cm/cloudera-cm.repo /etc/yum.repos.d/

把原地址修改为本地服务器的地址,注意域名和端口号

1
2
3
4
5
6
sudo vi /etc/yum.repos.d/cloudera-cm.repo
    [cloudera-cm]
    # Packages for Cloudera‘s Distribution for cm, Version 5, on RedHat or CentOS 7 x86_64
    name=Cloudera‘s Distribution for cm, Version 5
    baseurl=http://cdh-01.com:8000/cm/5.14
    gpgcheck = 0

修改后再运行 sudo yum clean all

安装 Cloudera Manager

下载安装程序 http://archive.cloudera.com/cm5/installer/5.14.2/cloudera-manager-installer.bin 到 /home/big-data/www 目录

执行 sudo /home/big-data/www/cloudera-manager-installer.bin

按照图形界面提示安装

安装完成后,使用 admin 用户登录 web 页面, 看是安装cdh

安装 cdh (使用推荐的方式: parcels)

下载文件 parcels 文件

下载地址: https://archive.cloudera.com/cdh5/parcels/

这里选择下载:
https://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel

https://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1

http://archive.cloudera.com/cdh5/parcels/5.14.2/manifest.json

1
2
3
4
5
6
7
big-data@cdh-01:~$ pwd
/home/big-data/www

big-data@cdh-01:~$ ll
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel 
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1
manifest.json
1. 创建目录:
1
2
sudo mkdir /opt/cloudera/parcels
sudo mkdir /opt/cloudera/parcel-repo
2. 移动文件

将下载好的三个文件移动到 /opt/cloudera/parcel-repo 目录下, 并把 CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 后缀更名为 sha

1
2
3
sudo mv /home/big-data/www/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel /opt/cloudera/parcel-repo/
sudo mv /home/big-data/www/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
sudo mv /home/big-data/www/manifest.json /opt/cloudera/parcel-repo/manifest.json

登录 cdh-01.com:7180, 进行安装

登录

用户名密码都是 admin, 登录后在欢迎页面选择接受协议,选择 Cloudera Express(免费) 版本

image

指定主机

跟随着页面的引导,接下来要做的就是指定主机,在输入框中输入 cdh-[01-03].com 即可, 点击解析查看节点是否可用

选择 cdh 版本并且设置自定义存储库

选择之前下载好的 parcel 版本

image

指定自定义存储库为 cloudera-cm.repo 中配置的本地服务地址

image

选择安装jdk

image

不勾选 Single User Mode , 继续下一步

image

填写用户和密码

image

开始安装

image
image

分配,解压,激活 parcel

image

完成后,会自动检查服务器节点, 会找出问题并给出解决办法,一定要让所有的检查项都通过.

安装 Cloudera Managerment Service 服务

image
image
image
image

依次安装 zookeeper, HDFS, Yarn, Hive, spark 等服务

image

image
image

image
image
image
image
image
image

赏

文章标题:centos7 本地源方式部署 CDH 大数据服务管理平台

文章字数:1.8k

本文作者:Waterandair

发布时间:2017-12-15, 11:20:47

最后更新:2019-12-28, 14:03:59

原始链接:https://waterandair.github.io/2017-12-15-big-data-cdh-5-14-2-install.html

版权声明: "署名-非商用-相同方式共享 4.0" 转载请保留原文链接及作者。

©2017 Waterandair

Built with Hexo and 3-hexo theme

目录
×

喜欢就点赞,疼爱就打赏

github