Hadoop技术集群安装
参考文档：
python基础操作以及hdfs操作 - Simon92 - 博客园
https://blog.csdn.net/qq_23043541/article/details/82120089?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.no_search_link
python使用hdfs库操作Hadoop的HDFS_名狱的博客-CSDN博客_pyhdfs库
https://blog.csdn.net/lp895876294/article/details/114232807
https://www.cnblogs.com/jstarseven/p/7682221.html
Hadoop安装-超详细 - 知乎
1. 在三台机器上面添加组件安装账号: 也可以直接root安装
用户名:user1 分组：DataGroup1 密码： *****
2.关闭防火墙（这三台机器没有开，所以不需要操作）
603 root 2021-05-24 13:18:13 systemctl stop firewalld
604 root 2021-05-24 13:18:17 systemctl status firewalld
3.配置 /etc/ssh/sshd_config 允许适当的登录方式
(base) [root@29-DT/]#vim /etc/ssh/sshd_config
(base) [root@229-DT/]#service sshd restart
4.更改机器名 配置对用的ip
参考命令：hostnamectl set-hostname slave1
vim /etc/hosts
10.182.***** master
10.182.***** slave1
10.182.***** slave2
5.master slave1 slave2 三台机器间的免密登录（slave1-slave2-master)
在master上操作：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa #生成 id_rsa id_rsa.pub
cp id_rsa.pub authorized_keys #将公钥拷到一个特定文件authorized_keys中
[root@master~/.ssh]#scp authorized_keys root@slave1:/root/.ssh/ #拷贝到slave1
在slave1上操作：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa #生成 id_rsa id_rsa.pub
[root@slave1~/.ssh]#cat id_rsa.pub >> authorized_keys
#scp authorized_keys root@slave2:/root/.ssh/
在slave2上操作：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa #生成 id_rsa id_rsa.pub
cat id_rsa.pub >> authorized_keys
scp authorized_keys root@slave1:/root/.ssh/
scp authorized_keys root@master:/root/.ssh/
验证免密登录功能（略）
6.JDK 安装（注意版本选择，1.8几乎适合所以大数据软件，此次安装使用版本jdk1.8.0_271）
tar zxvf jdk-****.tar.gz #下载解压对应的版本
修改 /etc/profile
export JAVA_HOME=/run/software/jdk1.8.0_271
export JRE_HOME=/run/software/jdk1.8.0_271/jre
执行source /etc/profile
java -version #查看版本号是否正确
7.hadoop 安装
1. 修改系统名字，及三个系统的ip和名字的映射（参考上面第四项）
2. ping 连通性测试
3.SSH实现三台机子免密码登录 （参考上面第5项）
4.安装jdk （参考上面第六项）
5.hadoop安装包先上传到master，在master安装hadoop最后将安装好的文件传给其他机子
6.后续工作参考：https://blog.csdn.net/qazwsxpcm/article/details/78637874
https://zhuanlan.zhihu.com/p/32561305
