1.1 内存分配

将3台虚拟机分配好内存

一号机尽量多分配点资源

1.2 JDK安装

在/opt目录下创建文件夹

（1）在/opt目录下创建module、software文件夹

[zz@hadoop102 opt]$ sudo mkdir module

[zz@hadoop102 opt]$ sudo mkdir software

（2）修改module、software文件夹的所有者cd

[zz@hadoop102 opt]$ sudo chown zz:zz module/ software/

[zz@hadoop102 opt]$ ll

drwxr-xr-x. 2 zz zz 4096 1月  17 14:37 module

drwxr-xr-x. 2 zz zz 4096 1月  17 14:38 software

1. 安装JDK配置环境变量

（1）查询是否安装Java软件：

[zz@hadoop102 opt]$ rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该JDK：

[zz@hadoop102 opt]$ sudo rpm -e 软件包

（3）查看JDK安装路径：

 [zz@hadoop102 ~]$ which java

2. 用SecureCRT工具将JDK导入到opt目录下面的software文件夹下面

3. 在Linux系统下的opt目录中查看软件包是否导入成功

[zz@hadoop102 opt]$ cd software/

[zz@hadoop102 software]$ ls

hadoop-2.7.2.tar.gz  jdk-8u144-linux-x64.tar.gz

4. 解压JDK到/opt/module目录下

[zz@hadoop102 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5. 配置JDK环境变量

（1）先获取JDK路径

[zz@hadoop102 jdk1.8.0_144]$ pwd

/opt/module/jdk1.8.0_144

（2）打开/etc/profile文件

[zz@hadoop102 software]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

（3）保存后退出

 :wq

（4）让修改后的文件生效

[zz@hadoop102 jdk1.8.0_144]$ source /etc/profile

6. 测试JDK是否安装成功

[zz@hadoop102 jdk1.8.0_144]# java -version

java version "1.8.0_144"

  注意：重启（如果java -version可以用就不用重启）

[zz@hadoop102 jdk1.8.0_144]$ sync

[zz@hadoop102 jdk1.8.0_144]$ sudo reboot

1.3 安装配置mysql

1．查看mysql是否安装，如果安装了，卸载mysql

（1）查看

[root@hadoop102 桌面]# rpm -qa|grep mysql

mysql-libs-5.1.73-7.el6.x86_64

（2）卸载

[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64

2．解压mysql-libs.zip文件到当前目录

[root@hadoop102 software]# unzip mysql-libs.zip

[root@hadoop102 software]# ls

mysql-libs.zip

mysql-libs

3．进入到mysql-libs文件夹下

[root@hadoop102 mysql-libs]# ll

总用量 76048

-rw-r--r--. 1 root root 18509960 3月  26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm

-rw-r--r--. 1 root root  3575135 12月  1 2013 mysql-connector-java-5.1.27.tar.gz

-rw-r--r--. 1 root root 55782196 3月  26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

安装MySql服务器

1．安装mysql服务端

[root@hadoop102 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

2．查看产生的随机密码

[root@hadoop102 mysql-libs]# cat /root/.mysql_secret

OEXaQuS8IWkG19Xs

3．查看mysql状态

[root@hadoop102 mysql-libs]# service mysql status

4．启动mysql

[root@hadoop102 mysql-libs]# service mysql start

安装MySql客户端

1．安装mysql客户端

[root@hadoop102 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

2．链接mysql

[root@hadoop102 mysql-libs]# mysql -uroot -pOEXaQuS8IWkG19Xs

3．修改密码

mysql>SET PASSWORD=PASSWORd('000000');

4．退出mysql

mysql>exit

MySql中user表中主机配置

配置只要是root用户+密码，在任何主机上都能登录MySQL数据库。

1．进入mysql

[root@hadoop102 mysql-libs]# mysql -uroot -p000000

2．显示数据库

mysql>show databases;

3．使用mysql数据库

mysql>use mysql;

4．展示mysql数据库中的所有表

mysql>show tables;

5．展示user表的结构

mysql>desc user;

6．查询user表

mysql>select User, Host, Password from user;

7．修改user表，把Host表内容修改为%

mysql>update user set host='%' where host='localhost';

8．删除root用户的其他host

mysql>delete from user where Host='hadoop102';

mysql>delete from user where Host='127.0.0.1';

mysql>delete from user where Host='::1';

9．刷新

mysql>flush privileges;

10．退出

mysql>quit;

1.4 关闭SELINUX

1.临时关闭： 

setenforce 0

2.修改配置文件/etc/selinux/config（重启生效）

将SELINUX=enforcing 改为SELINUX=disabled

1.5 ssh免密登录

 [zz@hadoop102]$ cd

 [zz@hadoop102]$ cd .ssh

（1）生成公钥和私钥：

[zz@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（2）将公钥拷贝到要免密登录的目标机器上

[zz@hadoop102 .ssh]$ ssh-copy-id hadoop102

[zz@hadoop102 .ssh]$ ssh-copy-id hadoop103

[zz@hadoop102 .ssh]$ ssh-copy-id hadoop104

注:三台机器都需要1.5步骤

1.6 下载第三方依赖

在三台节点（所有agent的节点）上执行下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

1.7 创建CM用的数据库：

（1）集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（2）hive数据库 

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（3）oozie数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（4）hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

CM安装部署

2.1 解压cloudera-manager-el6-cm5.12.1_x86_64.tar.gz

[root@hadoop102 module]# mkdir /opt/module/cloudera-manager
[root@hadoop102 module]# tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cloudera-manager/

2.2  创建用户cloud era-scm（所有节点）

[root@hadoop102 cloudera-scm-server]# useradd --system --home=/opt/module/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

2.3 配置CM Agent

修改文件/opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/ config.ini

[root@hadoop102 cloudera-scm-agent]# vim /opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini

server_host=hadoop102

2.4 配置CM的数据库

1.拷贝mysql jar文件到目录 /usr/share/java/

[root@hadoop102 share]# mkdir /usr/share/java/
[root@hadoop102 cm-5.12.1]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/
[root@hadoop102 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

• 注意jar包名称要修改为mysql-connector-java.jar

2.在mysql中创建cm库

[root@hadoop102 cm-5.12.1]# /opt/module/cloudera-manager/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop102 -uroot -p000000 --scm-host hadoop102 scm scm scm

2.5 分发cloudera-manager

[root@hadoop102 module]# scp -r /opt/module/cloudera-manager/ hadoop103:/opt/module/

[root@hadoop102 module]# scp -r /opt/module/cloudera-manager/ hadoop104:/opt/module/

2.6 创建Parcel-repo 目录

1. Servre 节点创建目录/opt/cloudera/parcel-repo

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcel-repo

[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

2.拷贝以下载文件到/opt/cloudera/parcel-repo

（1）CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel

（2）CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1:需改名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

（3）manifest.json

3.在Agent 节点（hadoop102，hadoop103，hadoop104）创建目录/opt/cloudera/parcels

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

2.7分发Parcel-repo

[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop103:/opt/

[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop104:/opt/

2.8 启动和关闭CM Server&Agent 服务

服务节点：hadoop102

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start

Starting cloudera-scm-server:                              [确定]

工作节点：hadoop102hadoop103hadoop104

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

正在启动 cloudera-scm-agent：                              [确定]

[root@hadoop103 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

正在启动 cloudera-scm-agent：                              [确定]

[root@hadoop104 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

正在启动 cloudera-scm-agent：                              [确定]

访问http://hadoop102:7180，（用户名、密码：admin）

关闭：

服务节点：hadoop102

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server stop

停止 cloudera-scm-server：                                 [确定]

工作节点：hadoop102hadoop103hadoop104

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent stop

Stopping cloudera-scm-agent:                               [确定]