数仓 用户认证 Kerberos 安全集群使用说明

用户要求访问HDFS集群文件

Shell命令web页面 提交MapReduce任务

1，具体要求
以下使用说明均基于普通用户，安全集群对用户有以下要求：
1）集群中的每个节点都需要创建该用户
2）该用户需要属于hadoop用户组
3）需要创建该用户对应的Kerberos主体

2，实操
此处以 luanhao 用户为例，具体操作如下
1）创建用户（存在可跳过），须在所有节点执行

[root@hadoop102 ~]# useradd luanhao 
[root@hadoop102 ~]# echo luanhao | passwd --stdin luanhao 

[root@hadoop103 ~]# useradd luanhao 
[root@hadoop103 ~]# echo luanhao | passwd --stdin luanhao 

[root@hadoop104 ~]# useradd luanhao 
[root@hadoop104 ~]# echo luanhao | passwd --stdin luanhao 

2）加入hadoop组，须在所有节点执行

[root@hadoop102 ~]# usermod -a -G hadoop luanhao 
[root@hadoop103 ~]# usermod -a -G hadoop luanhao 
[root@hadoop104 ~]# usermod -a -G hadoop luanhao 

3）创建主体

[root@hadoop102 ~]# kadmin -p admin/admin -wadmin -q"addprinc -pw luanhao luanhao"

1，认证

[luanhao@hadoop102 ~]$ kinit luanhao

2，查看当前认证用户

[luanhao@hadoop102 root]$ klist
Ticket cache: FILE:/tmp/krb5cc_1000
Default principal: luanhao@EXAMPLE.COM

Valid starting       Expires              Service principal
2022-02-01T11:18:19  2022-02-02T11:18:19  krbtgt/EXAMPLE.COM@EXAMPLE.COM

3，执行命令

[luanhao@hadoop102 root]$ hadoop fs -ls /

4，注销认证

[root@hadoop102 ~]$ kdestroy

1，安装Kerberos客户端
下载地址：http://web.mit.edu/kerberos/dist/kfw/4.1/kfw-4.1-amd64.msi　
1）下载之后按照提示安装
2）编辑C:ProgramDataMITKerberos5krb5.ini文件，内容如下

[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 forwardable = true
 rdns = false
 default_realm = EXAMPLE.COM

[realms]
 EXAMPLE.COM = {
  kdc = hadoop102
  admin_server = hadoop102
 }

[domain_realm]

2，配置火狐浏览器
1）打开浏览器，在地址栏输入“about:config”，点击回车

２）搜索“network.negotiate-auth.trusted-uris”，修改值为要访问的主机名（hadoop102）

3）搜索“network.auth.use-sspi”，双击将值变为false

3，认证
１）启动Kerberos客户端，点击Get Ticket

２）输入主体名和密码，点击OK

３）认证成功

4，访问HDFS

5，注销认证

1，认证

[luanhao@hadoop102 ~]$ kinit luanhao

2，查看

[luanhao@hadoop102 ~]$ klist
Ticket cache: FILE:/tmp/krb5cc_1000
Default principal: luanhao@EXAMPLE.COM

Valid starting       Expires              Service principal
2022-02-01T16:46:41  2022-02-02T16:46:41  krbtgt/EXAMPLE.COM@EXAMPLE.COM

3，提交任务

[root@hadoop102 ~]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 1 1

4，任务成功！