栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

CDH节点扩充

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

CDH节点扩充

操作系统:Centos 7
CDH:5.15.0

文章目录

标题配置节点免密SSH配置java环境变量安装cloudera-manager启动新增的agent关闭透明大页面压缩依赖包安装界面添加节点

标题配置节点免密SSH

1、生成私钥、公钥 (每个worker节点执行)

2、配置集群节点间免密ssh

修改authorized_keys
粘贴复制每台节点的pub key到authorized_keys(每台节点都需要操作)

修改配置/etc/hosts

3、测试验证

配置java环境变量

安装JDK环境 (每个worker节点执行)

1、下载安装包
2、创建安装目录
mkdir -p /usr/lib/jvm/
3、解压安装
tar -zxvf jdk-8u261-linux-x64.tar.gz -C /usr/lib/jvm/

配置环境变量

修改/etc/profile,添加:
#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_261
export PATH=$PATH:$JAVA_HOME/bin

执行生效环境变量

 source /etc/profile

验证

安装cloudera-manager

1、创建安装目录(每个worker节点执行)

mkdir /opt/cloudera-manager
mkdir -p /opt/cloudera/parcels

2、安装cloudera-manager (每个worker节点执行)

scp cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz gapprod6:/opt/software/
tar -zxvf cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz -C /opt/cloudera-manager

3、修改配置文件 (每个worker节点执行)

vi /opt/cloudera-manager/cm-5.15.0/etc/cloudera-scm-agent/config.ini

server_host=10.58.8.112

4、创建CDH parcel安装目录(每个worker节点执行)

mkdir -p /opt/cloudera/parcels

5、添加用户

useradd -r --home=/opt/cloudera-manager/cm-5.15.0/run/cloudera-scm-server/ --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
启动新增的agent

在新增的worker节点上执行启动:

/opt/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-agent restart

关闭透明大页面压缩
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
依赖包安装
yum -y install perl perl-devel
界面添加节点


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/749398.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号