创建Hadoop系统用户Hadoop Kerberos配置
为Hadoop各服务创建Kerberos主体（Principal）修改Hadoop配置文件配置HDFS使用HTTPS安全传输协议配置Yarn使用LinuxContainerExecutor
创建Hadoop系统用户为Hadoop开启Kerberos，需为不同服务准备不同的用户，启动服务时需要使用相应的用户。须在所有节点创建以下用户和用户组。
| User:Group | Daemons |
|---|---|
| hdfs:hadoop | NameNode, Secondary NameNode, JournalNode, DataNode |
| yarn:hadoop | ResourceManager, NodeManager |
| mapred:hadoop | MapReduce JobHistory Server |
创建hadoop组
[root@hadoop102 ~]# groupadd hadoop [root@hadoop103 ~]# groupadd hadoop [root@hadoop104 ~]# groupadd hadoop
创建各用户并设置密码
[root@hadoop102 ~]# useradd hdfs -g hadoop [root@hadoop102 ~]# echo hdfs | passwd --stdin hdfs [root@hadoop102 ~]# useradd yarn -g hadoop [root@hadoop102 ~]# echo yarn | passwd --stdin yarn [root@hadoop102 ~]# useradd mapred -g hadoop [root@hadoop102 ~]# echo mapred | passwd --stdin mapred [root@hadoop103 ~]# useradd hdfs -g hadoop [root@hadoop103 ~]# echo hdfs | passwd --stdin hdfs [root@hadoop103 ~]# useradd yarn -g hadoop [root@hadoop103 ~]# echo yarn | passwd --stdin yarn [root@hadoop103 ~]# useradd mapred -g hadoop [root@hadoop103 ~]# echo mapred | passwd --stdin mapred [root@hadoop104 ~]# useradd hdfs -g hadoop [root@hadoop104 ~]# echo hdfs | passwd --stdin hdfs [root@hadoop104 ~]# useradd yarn -g hadoop [root@hadoop104 ~]# echo yarn | passwd --stdin yarn [root@hadoop104 ~]# useradd mapred -g hadoop [root@hadoop104 ~]# echo mapred | passwd --stdin mapredHadoop Kerberos配置 为Hadoop各服务创建Kerberos主体（Principal）
主体格式如下：ServiceName/HostName@REALM，例如 dn/hadoop102@EXAMPLE.COM
1，各服务所需主体如下
环境：3台节点，主机名分别为hadoop102，hadoop103，hadoop104
| 服务 | 所在主机 | 主体（Principal） |
|---|---|---|
| NameNode | hadoop102 | nn/hadoop102 |
| DataNode | hadoop102 | dn/hadoop102 |
| DataNode | hadoop103 | dn/hadoop103 |
| DataNode | hadoop104 | dn/hadoop104 |
| Secondary NameNode | hadoop104 | sn/hadoop104 |
| ResourceManager | hadoop103 | rm/hadoop103 |
| NodeManager | hadoop102 | nm/hadoop102 |
| NodeManager | hadoop103 | nm/hadoop103 |
| NodeManager | hadoop104 | nm/hadoop104 |
| JobHistory Server | hadoop102 | jhs/hadoop102 |
| Web UI | hadoop102 | HTTP/hadoop102 |
| Web UI | hadoop103 | HTTP/hadoop103 |
| Web UI | hadoop104 | HTTP/hadoop104 |
2， 创建主体说明
1）路径准备
为服务创建的主体，需要通过密钥文件keytab文件进行认证，故需为各服务准备一个安全的路径用来存储keytab文件。
[root@hadoop102 ~]# mkdir /etc/security/keytab/ [root@hadoop102 ~]# chown -R root:hadoop /etc/security/keytab/ [root@hadoop102 ~]# chmod 770 /etc/security/keytab/
2）管理员主体认证
为执行创建主体的语句，需登录Kerberos 数据库客户端，登录之前需先使用Kerberos的管理员用户进行认证，执行以下命令并根据提示输入密码。（admin）
[root@hadoop102 ~]# kinit admin/admin
3）登录数据库客户端
[root@hadoop102 ~]# kadmin
4）执行创建主体的语句
kadmin: addprinc -randkey test/test kadmin: xst -k /etc/security/keytab/test.keytab test/test
说明：
（1）addprinc test/test：作用是新建主体
addprinc：增加主体
-randkey：密码随机，因hadoop各服务均通过keytab文件认证，故密码可随机生成
test/test：新增的主体
（2）xst -k /etc/security/keytab/test.keytab test/test：作用是将主体的密钥写入keytab文件
xst：将主体的密钥写入keytab文件
-k /etc/security/keytab/test.keytab：指明keytab文件路径和文件名
test/test：主体
（3）为方便创建主体，可使用如下命令
[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey test/test" [root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/test.keytab test/test"
说明：
-p：主体
-w：密码
-q：执行语句
（4）操作主体的其他命令，可参考官方文档，地址如下：
http://web.mit.edu/kerberos/krb5-current/doc/admin/admin_commands/kadmin_local.html#commands
3，创建主体
1）在所有节点创建keytab文件目录
[root@hadoop102 ~]# mkdir /etc/security/keytab/ [root@hadoop102 ~]# chown -R root:hadoop /etc/security/keytab/ [root@hadoop102 ~]# chmod 770 /etc/security/keytab/ [root@hadoop103 ~]# mkdir /etc/security/keytab/ [root@hadoop103 ~]# chown -R root:hadoop /etc/security/keytab/ [root@hadoop103 ~]# chmod 770 /etc/security/keytab/ [root@hadoop104 ~]# mkdir /etc/security/keytab/ [root@hadoop104 ~]# chown -R root:hadoop /etc/security/keytab/ [root@hadoop104 ~]# chmod 770 /etc/security/keytab/
2）以下命令在hadoop102节点执行
NameNode（hadoop102）
[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nn/hadoop102" [root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nn.service.keytab nn/hadoop102"
DataNode（hadoop102）
[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey dn/hadoop102" [root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/dn.service.keytab dn/hadoop102"
NodeManager（hadoop102）
[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nm/hadoop102" [root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nm.service.keytab nm/hadoop102"
JobHistory Server（hadoop102）
[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey jhs/hadoop102" [root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/jhs.service.keytab jhs/hadoop102"
Web UI（hadoop102）
[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey HTTP/hadoop102" [root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/spnego.service.keytab HTTP/hadoop102"
2）以下命令在hadoop103执行
ResourceManager（hadoop103）
[root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey rm/hadoop103" [root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/rm.service.keytab rm/hadoop103"
DataNode（hadoop103）
[root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey dn/hadoop103" [root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/dn.service.keytab dn/hadoop103"
NodeManager（hadoop103）
[root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nm/hadoop103" [root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nm.service.keytab nm/hadoop103"
Web UI（hadoop103）
[root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey HTTP/hadoop103" [root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/spnego.service.keytab HTTP/hadoop103"
3）以下命令在hadoop104执行
DataNode（hadoop104）
[root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey dn/hadoop104" [root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/dn.service.keytab dn/hadoop104"
Secondary NameNode（hadoop104）
[root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey sn/hadoop104" [root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/sn.service.keytab sn/hadoop104"
NodeManager（hadoop104）
[root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nm/hadoop104" [root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nm.service.keytab nm/hadoop104"
Web UI（hadoop104）
[root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey HTTP/hadoop104" [root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/spnego.service.keytab HTTP/hadoop104"
4.修改所有节点keytab文件的所有者和访问权限
[root@hadoop102 ~]# chown -R root:hadoop /etc/security/keytab/
[root@hadoop102 ~]# chmod 660 /etc/security/keytabhdfs/
RULE:[2:$1/$2@$0]([rn]m/.*@EXAMPLE.COM)s/.*/yarn/
RULE:[2:$1/$2@$0](jhs/.*@EXAMPLE.COM)s/.*/mapred/
DEFAULT
hadoop.security.authentication
kerberos
hadoop.security.authorization
true
hadoop.rpc.protection
authentication
2，hdfs-site.xml
[root@hadoop102 ~]# vim /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml
增加以下内容
dfs.block.access.token.enable true dfs.namenode.kerberos.principal nn/_HOST@EXAMPLE.COM dfs.namenode.keytab.file /etc/security/keytab/nn.service.keytab dfs.secondary.namenode.keytab.file /etc/security/keytab/sn.service.keytab dfs.secondary.namenode.kerberos.principal sn/_HOST@EXAMPLE.COM dfs.namenode.kerberos.internal.spnego.principal HTTP/_HOST@EXAMPLE.COM dfs.web.authentication.kerberos.principal HTTP/_HOST@EXAMPLE.COM dfs.secondary.namenode.kerberos.internal.spnego.principal HTTP/_HOST@EXAMPLE.COM dfs.web.authentication.kerberos.keytab /etc/security/keytab/spnego.service.keytab dfs.datanode.kerberos.principal dn/_HOST@EXAMPLE.COM dfs.datanode.keytab.file /etc/security/keytab/dn.service.keytab dfs.http.policy HTTPS_ONLY dfs.data.transfer.protection authentication
3.yarn-site.xml
[root@hadoop102 ~]# vim /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml
增加以下内容
yarn.resourcemanager.principal rm/_HOST@EXAMPLE.COM yarn.resourcemanager.keytab /etc/security/keytab/rm.service.keytab yarn.nodemanager.principal nm/_HOST@EXAMPLE.COM yarn.nodemanager.keytab /etc/security/keytab/nm.service.keytab
4，mapred-site.xml
[root@hadoop102 ~]# vim /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml
增加以下内容
mapreduce.jobhistory.keytab /etc/security/keytab/jhs.service.keytab mapreduce.jobhistory.principal jhs/_HOST@EXAMPLE.COM
（5）分发以上修改的配置文件
[root@hadoop102 ~]# xsync /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml [root@hadoop102 ~]# xsync /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml [root@hadoop102 ~]# xsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml [root@hadoop102 ~]# xsync /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml配置HDFS使用HTTPS安全传输协议
1，生成密钥对
Keytool是java数据证书的管理工具，使用户能够管理自己的公/私钥对及相关证书。
-keystore 指定密钥库的名称及位置(产生的各类信息将存在.keystore文件中)
-genkey(或者-genkeypair) 生成密钥对
-alias 为生成的密钥对指定别名，如果没有默认是mykey
-keyalg 指定密钥的算法 RSA/DSA 默认是DSA
1）生成 keystore的密码及相应信息的密钥库
[root@hadoop102 ~]# keytool -keystore /etc/security/keytab/keystore -alias jetty -genkey -keyalg RSA 输入密钥库口令: 123456 再次输入新口令: 123456 您的名字与姓氏是什么? [Unknown]: 您的组织单位名称是什么? [Unknown]: 您的组织名称是什么? [Unknown]: 您所在的城市或区域名称是什么? [Unknown]: 您所在的省/市/自治区名称是什么? [Unknown]: 该单位的双字母国家/地区代码是什么? [Unknown]: CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown是否正确? [否]: y 输入的密钥口令 (如果和密钥库口令相同, 按回车): 再次输入新口令:
2）修改keystore文件的所有者和访问权限
[root@hadoop102 ~]# chown -R root:hadoop /etc/security/keytab/keystore [root@hadoop102 ~]# chmod 660 /etc/security/keytab/keystore
注意：
（1）密钥库的密码至少6个字符，可以是纯数字或者字母或者数字和字母的组合等等
（2）确保hdfs用户（HDFS的启动用户）具有对所生成keystore文件的读权限
3）将该证书分发到集群中的每台节点的相同路径
[root@hadoop102 ~]# xsync /etc/security/keytab/keystore
4）修改hadoop配置文件ssl-server.xml.example，
该文件位于$HADOOP_HOME/etc/hadoop目录
修改文件名为ssl-server.xml
[root@hadoop102 ~]# mv $HADOOP_HOME/etc/hadoop/ssl-server.xml.example $HADOOP_HOME/etc/hadoop/ssl-server.xml
修改以下内容
[root@hadoop102 ~]# vim $HADOOP_HOME/etc/hadoop/ssl-server.xml
修改以下参数
ssl.server.keystore.location /etc/security/keytab/keystore ssl.server.keystore.password 123456 ssl.server.truststore.location /etc/security/keytab/keystore ssl.server.keystore.keypassword 123456 ssl.server.truststore.password 123456
5）分发ssl-server.xml文件
[root@hadoop102 ~]# xsync $HADOOP_HOME/etc/hadoop/ssl-server.xml配置Yarn使用LinuxContainerExecutor
1）修改所有节点的container-executor所有者和权限，要求其所有者为root，所有组为hadoop（启动NodeManger的yarn用户的所属组），权限为6050。其默认路径为$HADOOP_HOME/bin
[root@hadoop102 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/bin/container-executor [root@hadoop102 ~]# chmod 6050 /opt/module/hadoop-3.1.3/bin/container-executor [root@hadoop103 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/bin/container-executor [root@hadoop103 ~]# chmod 6050 /opt/module/hadoop-3.1.3/bin/container-executor [root@hadoop104 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/bin/container-executor [root@hadoop104 ~]# chmod 6050 /opt/module/hadoop-3.1.3/bin/container-executor
2）修改所有节点的container-executor.cfg文件的所有者和权限，要求该文件及其所有的上级目录的所有者均为root，所有组为hadoop（启动NodeManger的yarn用户的所属组），权限为400。其默认路径为$HADOOP_HOME/etc/hadoop
[root@hadoop102 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/etc/hadoop/container-executor.cfg [root@hadoop102 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/etc/hadoop [root@hadoop102 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/etc [root@hadoop102 ~]# chown root:hadoop /opt/module/hadoop-3.1.3 [root@hadoop102 ~]# chown root:hadoop /opt/module [root@hadoop102 ~]# chmod 400 /opt/module/hadoop-3.1.3/etc/hadoop/container-executor.cfg [root@hadoop103 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/etc/hadoop/container-executor.cfg [root@hadoop103 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/etc/hadoop [root@hadoop103 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/etc [root@hadoop103 ~]# chown root:hadoop /opt/module/hadoop-3.1.3 [root@hadoop103 ~]# chown root:hadoop /opt/module [root@hadoop103 ~]# chmod 400 /opt/module/hadoop-3.1.3/etc/hadoop/container-executor.cfg [root@hadoop104 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/etc/hadoop/container-executor.cfg [root@hadoop104 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/etc/hadoop [root@hadoop104 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/etc [root@hadoop104 ~]# chown root:hadoop /opt/module/hadoop-3.1.3 [root@hadoop104 ~]# chown root:hadoop /opt/module [root@hadoop104 ~]# chmod 400 /opt/module/hadoop-3.1.3/etc/hadoop/container-executor.cfg
3）修改$HADOOP_HOME/etc/hadoop/container-executor.cfg
[root@hadoop102 ~]# vim $HADOOP_HOME/etc/hadoop/container-executor.cfg
内容如下
yarn.nodemanager.linux-container-executor.group=hadoop banned.users=hdfs,yarn,mapred min.user.id=1000 allowed.system.users= feature.tc.enabled=false
4）修改$HADOOP_HOME/etc/hadoop/yarn-site.xml文件
[root@hadoop102 ~]# vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
增加以下内容
yarn.nodemanager.container-executor.class org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.linux-container-executor.group hadoop yarn.nodemanager.linux-container-executor.path /opt/module/hadoop-3.1.3/bin/container-executor
5）分发container-executor.cfg和yarn-site.xml文件
[root@hadoop102 ~]# xsync $HADOOP_HOME/etc/hadoop/container-executor.cfg [root@hadoop102 ~]# xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
