- 提前准备三台虚拟机（最少三台，越多越好，不然，没钱你搞什么大数据），构建三台虚拟机免登录
- 为了方便使用 ，先把各自主机的端口号起一个别名
- 这里是需要JDK版本支持的，我用是8版本（JDK安装这里就不说了，自行解决）
Xshell有所有会话一起操作的功能，我们就直接一起进行修改
1、开启所有会话
2、修改
【1、2、3】vim /etc/hosts
添加三台虚拟机的端口号 我这里端口和名字分别对应
- 192.168.25.129 node01
- 192.168.25.130 node02
- 192.168.25.131 node03
3、虚拟机相互免秘钥
##三台主机分别生成`秘钥` 【123】ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ##host验证 在最后添加 【123】vim /etc/ssh/ssh_config ##添加如下内容 尽量和其余的的对齐放 StrictHostKeyChecking no UserKnownHostsFile /dev/null ##将秘钥分别拷贝给自己和另外两台虚拟机 这个过程需要输入虚拟机的密码 【123】ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01 【123】ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02 【123】ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
4、测试一下是否免密成功
[root@node01 ~]# ssh root@node02
[root@node02 ~]# ssh root@node03
[root@node03 ~]# ssh root@node01
5、拍个快照吧 防止玩坏掉
节点分布
1）准备安装环境
这里先搞一台 然后复制到另外两台上面，所以暂时不需要搞统一会话了
上传Hadoop压缩文件 自行下载，这里用的是 hadoop-3.1.2.tar.gz
https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/
[root@node01 ~]# tar -zxvf hadoop-3.1.2.tar.gz [root@node01 ~]# mv hadoop-3.1.2 /opt/bdp/ [root@node01 ~]# cd /opt/bdp/hadoop-3.1.2/etc/hadoop/
2）修改集群环境
[root@node01 hadoop]# vim hadoop-env.sh 直接在文件的最后添加
export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root
3）修改配置文件
[root@node01 hadoop]# vim core-site.xml 添加在标签中
fs.defaultFS hdfs://node01:9000 hadoop.tmp.dir /var/bdp/hadoop/full
[root@node01 hadoop]# vim hdfs-site.xml 添加在标签中
dfs.namenode.secondary.http-address node02:50090 dfs.namenode.secondary.https-address node02:50091 dfs.replication 2
[root@node01 hadoop]# vim workers 替换全部内容
node01 node02 node03
4）修改环境变量
[root@node01 hadoop]# vim /etc/profile 最后添加
export HADOOP_HOME=/opt/bdp/hadoop-3.1.2 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
5）拷贝至另外两台虚拟机
到这里，单台的就完成了！
-
将配置好的软件分发到其他主机
[root@node02 ~]# scp -r root@node01:/opt/bdp/hadoop-3.1.2 /opt/bdp/
[root@node03 ~]# scp -r root@node01:/opt/bdp/hadoop-3.1.2 /opt/bdp/ -
将环境变量拷贝到其他主机
[root@node01 bdp]# scp /etc/profile root@node02:/etc/profile
[root@node01 bdp]# scp /etc/profile root@node03:/etc/profile -
重新加载三台服务器的环境变量
【123】# source /etc/profile
6）格式化NameNode
注意：命令不要重复执行，不要在其他节点上执行，要在NameNode上执行 否则，就会导致创建多个集群，会因为不是一个集群，导致无法启动节点。
[root@node01 yjx]# hdfs namenode -format
7）启动集群
[root@node01 yjx]# start-dfs.sh
会依次启动 namenode datanode secondary namenode
8）访问 http://192.168.25.129:9870
看到这个页面 就说明成功了
这里可以看到节点信息
这里可以创建和查看具体的存储信息
over,感谢观看！
