- 服务器：10.202.80.109(Master+slave)
- 服务器：10.202.80.110（Master+slave)
- 服务器：10.202.80.196（Master+slave)
修改hostname：
vi /etc/hostname
分别修改为
- node1
- node2
- node3
vi /etc/hosts
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g6VK9tc9-1639724576804)(C:UsersZYZAppDataRoamingTyporatypora-user-imagesimage-20211210101057924.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qL8XRXPm-1639724576814)(C:UsersZYZAppDataRoamingTyporatypora-user-imagesimage-20211210101128517.png)]
2 安装hadoop 2.1 免密登录ssh-keygen -t rsa #一路回车 cd ~/.ssh/ cat id_rsa.pub >> ./authorized_keys chmod 600 ./authorized_keys
把三台服务器生成的id_rsa.pub的内容复制到一个文件里取名为 authorized_keys
把authorized_keys分别复制到三台服务的 /root/.ssh/ 目录下。
ssh命令测试连接，此时已不需要密码便可连接
scp authorized_keys root@10.202.80.110:~/.ssh/2.2 安装
-
下载解压
http://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/
tar -zvxf hadoop-3.1.3.tar.gz mv hadoop-3.1.3 hadoop
-
配置环境变量：
export HADOOP_HOME=/usr/local/software/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin #export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
source /etc/profile
-
创建文件夹：cd hadoop
mkdir hdfs cd hdfs/ mkdir name mkdir data mkdir temp
chmod 777 hdfs
-
修改配置文件
vi hadoop-env.sh # The java implementation to use. By default, this environment # variable is REQUIRED on ALL platforms except OS X! export JAVA_HOME=/usr/local/software/jdk
vi yarn-env.sh vi mapred-env.sh JAVA_HOME=/usr/local/software/jdk
如果是3.1.X的版本，里面的则是workers 也是只能放从节点的ip
vi slaves
-
修改core-site.xml
hadoop.tmp.dir /usr/local/software/hadoop/hdfs/temp A base for other temporary directories. io.file.buffer.size 131072 fs.defaultFS hdfs://10.202.80.109:9000
指明集群中谁充当主节点，端口一般默认9000
-
配置hdfs-site.xml
dfs.replication 1 dfs.namenode.name.dir file:/usr/local/software/hadoop/hdfs/name true dfs.datanode.data.dir file:/usr/local/software/hadoop/hdfs/data true dfs.webhdfs.enabled true dfs.permissions false -
修改mapred-site.xml.template文件 并重命名为mapred-site.xml
mapreduce.framework.name yarn true -
配置yarn-site.xml
yarn.resourcemanager.hostname 10.202.80.109 To enable RM web ui2 application. yarn.webapp.ui2.enable true yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
同步Hadoop文件到各主机服务器上：
scp -r hadoop root@10.202.80.110:/usr/local/software/2.4 启动并查看
-
启动
-
/bin/hdfs namenode -format 格式化hdfs
cd /usr/local/software/hadoop/sbin/ ./start-dfs.sh #启动hdfs ./start-yarn.sh #启动yarn #或者 ./start-all.sh #全部启动
10.202.80.109:9870
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wxAUd32a-1639724576814)(C:UsersZYZAppDataRoamingTyporatypora-user-imagesimage-20211209160011523.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CdSihHQT-1639724576815)(C:UsersZYZAppDataRoamingTyporatypora-user-imagesimage-20211209160141570.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0F2X58Cf-1639724576816)(C:UsersZYZAppDataRoamingTyporatypora-user-imagesimage-20211209135050595.png)]
2.5创建目录注意2.7.的版本默认端口号为：50070
-
测试：
cd /usr/local/software/hadoop mkdir test vi test/demo.txt hello word #上传文件 hadoop fs -mkdir /test hadoop fs -put test/demo.txt /test
-
查看：
-
描述：
启动报ERROR;
-
解决方法：
在里面修改四个文件
对于start-dfs.sh和stop-dfs.sh文件，添加下列参数：
#!/usr/bin/env bash HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
对于start-yarn.sh和stop-yarn.sh文件，添加下列参数：
#!/usr/bin/env bash YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root
重新开始start…就可以了。
————————————————
版权声明：本文为CSDN博主「hongxiao2016」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/hongxiao2016/article/details/88903289/
描述：集群成功启动 但是web访问时发现livenode为0，重新配置后发现只有一个datanode：
解决方法：
访问从节点的9864端口，发现都可以出页面，而从节点的服务器也都是起了的，所以我认为应该是显示问题；
