在完成网卡的配置以及免密登录后我们可以开始hadoop集群部署了
安装虚拟机+网卡设置
免密登录
在主节点namenod1下进入/software/hadoop节点下
新建tmp和dfs文件夹
进入dfs下新建2个文件夹
然后退出dfs文件夹进入hadoop文件
路径/software/hadoop/etc/hadoop/
打开
修改25行为
export JAVA_HOME=/java/jdk1.8.0_65（这里需要导入jdk的路径根据自己的路径我的是在java文件下）
我的jdk路径
打开
修改26行为jdk路径
这里需要导入jdk的路径根据自己的路径我的是在java文件下）
修改文件为你节点名称
修改配置文件
配置core-site.xml
fs.defaultFS hdfs://namenod1:9000 //namenod1为自己设置的主节点名称io.file.buffer.size 131072 hadoop.tmp.dir file:/software/hadoop/tmp //是刚刚创建的tmp文件夹的路径
配置
配置hdfs-site.xml
dfs.namenode.name.dir file:/software/hadoop/dfs/name dfs.namenode.data.dir file:/software/hadoop/dfs/data dfs.replication 2 //自己子节点的个数dfs.http.address namenod1:50070 dfs.namenode.secondary.http-address namenod1:50090
请仔细阅读备注下面的配置不在进行备注
配置mapred-site.xml（没有的话自己创建一个）
mapreduce.framework.name yarn mapreduce.jobhistory.address namenod1:10020 mapreduce.jobhistory.webapp.address namenod1:19888
配置yarn-site.xml
yarn.resourcemanager.address namenod1:8032 yarn.resourcemanager.scheduler.address namenod1:8030 yarn.resourcemanager.resource-tracker.address namenod1:8031 yarn.resourcemanager.admin.address namenod1:8033 yarn.resourcemanager.webapp.address namenod1:8088 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
到这我们已经完成的配置好的主节点namenod1下的hadoop文件
在之前的文章中我们是提到了子节点是没有安装jdk和hadoop的环境接下来
用 scp 命令将主节点下已经配置好的hadoop文件整个传送至其余结点的 /software 目录下
scp /software root@子节点名称：/software/
(这里的文件路径根据自己的路径下操作我的hadoop在software)
scp /java root@子节点名称：/java/
(这里的文件路径根据自己的路径下操作我的jdk在java)
最后进入各个子节点下 修改/etc/profile文件 将jdk和hadoop的路径添加到全局变量
（这里的环境变量路径也是根据自己的，这是我的路径）
最后在所以子节点下 source /etc/proflie 生效全局变量。
可以在子节点下验证输入java -version和hadoop version 有版本号就是正常。
启动hadoop集群回到主节点namenod1 进入/software/hadoop
格式化NameNode，命令：bin/hdfs namenode -format
启动集群，命令：start-all.sh
注意
1.如果在启动集群的时候提示目录权限不够在报错的目录在哪个节点下就在去那个节点下的对应执行 chmod 777 + 缺少权限的文件或目录名字（根据节点）
2.在进行其他操作的时候 比如从新格式化节点或者修改配置 要先停止运行集群输入命令 stop-all.sh
测试集群
在windows浏览器输入：http://主节点ip:50070/ 能访问HDFS页面
在windows浏览器输入：http://主节点ip:8088/ 能访问hadoop页面
ok我们已经完成hadoop的集群部署了
完成hadoop完全分布式部署安装工作，在虚拟机下执行hdfs dfsadmin -report 命令可以看到节点信息
