栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

CDH增加节点

CDH增加节点

CDH增加节点 1 机器配置

在台机器上输入: vim /etc/hosts

(省略)

修改本机显示hostname

vi /etc/sysconfig/network

HOSTNAME=scdh01

生效:service network restart

2 卸载自带的jdk(如果有)
[root@scdh01 ~]# rpm -qa |grep jdk
java-1.8.0-openjdk-headless-1.8.0.222.b03-1.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.221-2.6.18.1.el7.x86_64
copy-jdk-configs-3.3-10.el7_5.noarch
java-1.8.0-openjdk-1.8.0.222.b03-1.el7.x86_64
java-1.7.0-openjdk-1.7.0.221-2.6.18.1.el7.x86_64

[root@scdh01 ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.222.b03-1.el7.x86_64
[root@scdh01 ~]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.221-2.6.18.1.el7.x86_64
[root@scdh01 ~]# rpm -e --nodeps copy-jdk-configs-3.3-10.el7_5.noarch
[root@scdh01 ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.222.b03-1.el7.x86_64
[root@scdh01 ~]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.221-2.6.18.1.el7.x86_64
3 关闭防火墙
[root@scdh01 ~]# systemctl stop firewalld.service
[root@scdh01 ~]# systemctl disable firewalld.service

关闭SELINUX,编辑/etc/selinux/config配置文件,把SELINUX的值改为disabled

[root@scdh01 ~]# vim /etc/selinux/config

SELINUX=disabled
4 配置免密登录
ssh-keygen -t rsa  # 直接回车

ssh-copy-id scdh01   # 输入 yes, 输入密码 
ssh-copy-id scdh02   # 输入 yes, 输入密码 
ssh-copy-id scdh03   # 输入 yes, 输入密码 
5 安装jdk

(ps: 所有节点都要安装)

[root@scdh01 ~]# mkdir /usr/java

将放在服务器上的 jdk-8u181-linux-x64.tar.gz 解压到 /usr/java 目录下

[root@scdh01 ~]# tar -zxvf /opt/software/jdk-8u181-linux-x64.tar.gz -C /usr/java/

将 /usr/java 分发到其他服务器

[root@scdh01 ~]# scp -r /usr/java root@scdh02:/usr/java
[root@scdh01 ~]# scp -r /usr/java root@schd03:/usr/java

配置 JAVA_HOME 环境变量(所有的主机都需要)

[root@scdh01 ~]# cat >> /etc/profile << EOF
> #JAVA_HOME
> export JAVA_HOME=/usr/java/jdk1.8.0_181
> export PATH=$PATH:$JAVA_HOME/bin
> EOF
[root@scdh01 ~]# source /etc/profile
[root@scdh01 ~]# java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)
6 时钟同步
1、所有机器安装ntp :yum -y install ntp

2、CM节点配置时钟与自己同步:vim /etc/ntp.conf,删除其他server,加入:
server  127.127.1.0 
fudge   127.127.1.0 stratum 10

3、其他非CM节点,同步CM节点的时间,vim /etc/ntp.conf,加入:
server 10.106.58.117

4、重启所有机器的ntp服务
systemctl restart ntpd或者service ntpd restart
systemctl status ntpd或者service ntpd status

5、验证同步
所有节点执行ntpq –p,左边出现*号表示同步成功。

6、若不成功;
/usr/sbin/ntpdate stdtime.gov.hk 
ntpdate xxx.xxx.xxx.xxx
手动同步时间
7 http服务
yum -y install httpd
systemctl start httpd 或service httpd start
8 yum 源
```bash
- 创建本地Cloudera Manager的repo源,创建/etc/yum.repos.d/myrepo.repo,加入一些配置项:
[myrepo]
name = myrepo
baseurl = http://scdh01/cloudera-repos
enable = true
gpgcheck = false
```
9 安装CM server及agent

子节点执行:

[root@scdh02 yum.repos.d]# yum -y install cloudera-manager-agent cloudera-manager-daemons
10 修改CM配置文件

所有节点都要执行

[root@scdh01 yum.repos.d]# vim /etc/cloudera-scm-agent/config.ini

server_host=scdh01  # 改成主节点的ip或hosts
11 启动CM服务

启动所有节点(包括主节点)的 cloudera-scm-agent

[root@scdh01 yum.repos.d]# systemctl start cloudera-scm-agent

查看状态

[root@scdh01 yum.repos.d]# systemctl status cloudera-scm-agent

work用户权限:

useradd -d /home/work -m work -p yjyqhyxxcyshystee /etc/sudoers.d/work <<< 'work ALL=(ALL) ALL'chmod 440 /etc/sudoers.d/work

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/745956.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号