CDH6.3.1 离线安装部署
一、服务器准备，CDH相关安装包准备好 都上传到服务器/home 目录下
（一）修改hosts和hostname文件
更新 /etc/hosts 和 /etc/hostname 文件
用xshell或者CRT工具远程连接这些服务器，选中交互窗口，相同的命令输入 一键发送
# IP地址和主机名根据实际情况替换 echo "10.10.10.1 cdh001" >> /etc/hosts echo "10.10.10.2 cdh002" >> /etc/hosts echo "10.10.10.3 cdh003" >> /etc/hosts echo "10.10.10.4 cdh004" >> /etc/hosts echo "10.10.10.5 cdh005" >> /etc/hosts echo "10.10.10.6 cdh006" >> /etc/hosts vi /etc/hostname 10.10.10.1 cdh001 10.10.10.2 cdh002 10.10.10.3 cdh003 10.10.10.4 cdh004 10.10.10.5 cdh005 10.10.10.6 cdh006
（二）关闭所有节点防火墙并清空规则
systemctl stop firewalld systemctl disable firewalld firewall-cmd --state #关闭后显示notrunning，开启显示running
（三）关闭所有节点的selinux
vi /etc/selinux/config 将 SELINUX=enforcing 改为 SELINUX=disable
设置后需要重启服务器才能生效
（四）设置时区、时钟同步(这一步可以暂时不操作)
设置时区：
date #查看系统时间 timedatectl #查看当前系统使用的时区 timedatectl set-timezone Asia/Shanghai #设置当前系统时区为亚洲上海时区
时间同步：
date -s 16:16:16 # 先一键更新各服务器时间
后期可安装配置时间同步服务ntp
（五）每个节点配置JDK
# 在所有节点上执行以下命令 mkdir /usr/java tar -zxvf /home/jdk-8u171-linux-x64.tar.gz -C /usr/java/ #将JDK包解压到指定目录 echo 'export JAVA_HOME=/usr/java/jdk1.8.0_171' >> /etc/profile echo 'export CLASSPATH=$JAVA_HOME/lib/' >> /etc/profile echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile #或者直接 修改 /etc/profile 配置文件添加 vi /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_171 export CLASSPATH=$JAVA_HOME/lib/ export PATH=$PATH:$JAVA_HOME/bin source /etc/profile #使环境变量生效 java -version #查看JDK是否安装成功
（六）选择cdh001节点安装mysql
安装部署mysql5.7
（七）创建CDH的元数据库和用户、amon服务的数据库和用户 并赋予用户远程访问的所有权限，最后刷新权限
create database cmf DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database report DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci; -- 密码根据实际情况修改成强密码 grant all privileges on cmf.* to 'cmf'@'%' identified by '123456'; grant all privileges on amon.* to 'amon'@'%' identified by '123456'; grant all privileges on report.* to 'report'@'%' identified by '123456'; grant all privileges on hive.* to 'hive'@'%' identified by '123456'; grant all privileges on oozie.* to 'oozie'@'%' identified by '123456'; grant all privileges on hue.* to 'hue'@'%' identified by '123456'; flush privileges;
（八）节点cdh001上放mysql jdbc jar,并重命名，不能带版本号
mkdir -p /usr/share/java/ cp /home/mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar
（九）所有节点要下载第三方依赖
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
不能连外网可以用本地镜像
1.创建本地仓库目录 mkdir /home/localyumsource # 然后将相关的rpm包上传到服务器上 2.修改yum源为本地文件目录 cd /etc/yum.repos.d/ mv CentOS-base.repo CentOS-base.repo.bak #备份原有文件 vi local.repo #新建源指向文件 [localsource] name=”CentOS glib.i686” baseurl=file:///home/localyumsource enabled=1 gpgcheck=0
之后可以用yum -y install
二、离线部署CDH6.3.1
#所有节点创建录并解压cdh包 mkdir /opt/cloudera-manager tar -xzvf /home/cm6.3.1-redhat7.tar.gz -C /opt/cloudera-manager/
（一）离线部署cm server及agent
1.选择cdh001为cm server cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64 rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
2.所有节点(包含cdh001)为cm agent cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64 rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force #cdh001不要重复部署 rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
3.所有节点修改agent的配置，指向server的节点cdh001 vi /etc/cloudera-scm-agent/config.ini server_host= cdh001 #或者直接用sed命令修改 sed -i "s/server_host=localhost/server_host=hacdh001/g" /etc/cloudera-scm-agent/config.ini
4.cdh001主节点修改server的配置 vi /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.type=mysql com.cloudera.cmf.db.host=cdh001 com.cloudera.cmf.db.name=cmf com.cloudera.cmf.db.user=cmf com.cloudera.cmf.db.password=123456 com.cloudera.cmf.db.setupType=EXTERNAL
（二）cdh001节点部署离线parcel源
1.安装httpd服务 yum -y install httpd
2.部署离线parcel源 mkdir -p /var/www/html/cdh6_parcel mv /home/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json /var/www/html/cdh6_parcel cd /var/www/html/cdh6_parcel/ #sha1重命名去掉1，不然在部署过程CM认为文件下载未完整，会持续下载 mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
3.启动httpd，windows上查看 systemctl start httpd http://10.10.10.1/cdh6_parcel/ #查看是否可以访问
（三）启动CDH
# cdh001节点启动 server(主机需要放开7180端口) systemctl start cloudera-scm-server service cloudera-scm-server status tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log # 所有节点启动 Agent systemctl start cloudera-scm-agent service cloudera-scm-agent status tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log
之后都在WEB界面操作添加相关服务
打开URL：http://10.10.10.1:7180
账号密码：admin/admin
选择Cloudera Express免费版本，下一步默认
选择所有主机，下一步默认
数据库设置 输入正确的主机名、用户和密码
自定义服务，选择部署Zookeeper、HDFS、Yarn、Hive、Impala等服务
合理自定义角色分配（在默认的基础上稍加修改）
最后：
