- CDH搭建
- 前期要求(都是坑)
- 1、硬件要求(自己的本地物理机)
- 2、java相关要求
- 重要！
- 3、数据库相关配置
- 4、其他注意事项
- END
多看官网，官网上有详细介绍配置要求
网址https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_requirements_supported_versions.html
自己尝试过重要的点：
CDH6.3.2版本的搭建，对java版本、数据库版本、虚拟机(服务器)配置等都有影响
1、硬件要求(自己的本地物理机)-
三台虚拟机（lion、tiger、fish），其中lion是server机，三台都装上了agent
-
lion分配了3G内存空间，tiger和fish都为2G的内存空间，后续发现三台机器的内存全挤满…内存还是要尽量多留存
-
lion分配了30G磁盘空间，tiger和fish都是20G磁盘空间，在装上HDFS、ZK、Yarn后磁盘剩余还很多，但考虑到后续还要使用许多服务，还是分配大一点好
-
Java堆分配和jvm配置尽量调高，否则会出现jvm内存小没法完成任务而导致某一个步骤卡住的情况
-
总之，搞CDH还是对硬件要求比较高，有能力还是上服务器比较好
- 对于CDH6.3.x，均不支持jdk1.7，需要安装1.8版本以上的jdk
- java版本，需要区分openjdk和oracle版本jdk
- 对于oracle版本jdk，最好使用推荐的1.8u181版本
- 对于openjdk，可以根据下图安装
Java最好安装在/usr/java/下，java文件夹使用mkdir /usr/java自行安装
-
如果不安装在此目录下，会导致在CDH安装时报错，提示找不到java，这就需要使用下面的命令进行解决，用于创建一个软链接
-
ln -s [你的java安装目录] /usr/java/
-
使用vim /etc/profile进行配置，加入java环境，并且千万记住使用source /etc/profile更新配置
- 自己使用的MySQL，版本选择5.7版本，不要用8.0版本
-
当然在安装MySQL之前，需要先把原本的mariaDB删除
-
先用查询语句查询出你的安装包名
-
rpm -qa|grep maria*
-
使用下面语句进行删除
-
rpm -e --nodeps [你的maria安装包名称]
-
-
对所有自定义数据库使用 UTF8 编码。MySQL 和 MariaDB 必须使用 MySQLutf8编码，不是utf8mb4.
-
对于 MySQL 5.7，必须安装MySQL-shared-compat或MySQL-shared软件包。这是 Cloudera Manager Agent 安装所必需的。
在官网中还有更多对其他数据库的参数配置要求。
4、其他注意事项-
以下操作在所有主机上都需要进行
-
在开始安装前，需要保证
-
(非必须)使用yum install vim安装vim，不安装的话使用vi命令也可
-
先对网络进行配置，一定保证主机间互相ping通，网站可以ping通，使用vim /etc/sysconfig/network-scripts/ifcfg-ens33进行网络配置修改，需要保证以下内容正确
- BOOTPROTO=static
- ONBOOT=yes
-
再使用vim /etc/hostname将hostname改为你自定义的名字，在此例中我使用的是lion(简单好记)
-
使用vim /etc/hosts进行主机名和ip配置，在文件中添加如下的内容:
-
[主机1的ip地址] [配置好的主机1名] [主机2的ip地址] [配置好的主机2名] [主机3的ip地址] [配置好的主机3名] ...
-
-
多台机器都已做好了ssh免密登录，使用ssh-keygen -t rsa生成密钥，再使用ssh-copy-id [免密登录主机名]将ssh配置到对应其他的主机
-
-
在安装cloudera-scm-agent之前，需要先安装一些前置脚本
-
yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
