配置Hadoop环境
一、配置基础环境(CentOs)
-
安装虚拟机(默认最小安装)
最小化安装 -
配置ip网络-config
配置网络:cd /etc/sysconfig/network-scripts ls vi ifcfg-ens33 把“ONBOOT”改为yes 保存并退出 更新 service network restart 查询ip:ifconfig 链接xshell
-
安装vim
1.检查是否已安装
查看一下你本机已经存在的包,确认一下你的VIM是否已经安装,输入:
rpm -qa|grep vim
如果已安装,会显示:
[root@localhost usr]# rpm -qa|grep vim vim-minimal-7.4.629-6.el7.x86_64 vim-filesystem-7.4.629-6.el7.x86_64 vim-enhanced-7.4.629-6.el7.x86_64 vim-common-7.4.629-6.el7.x86_64 vim-X11-7.4.629-6.el7.x86_64
2.安装
如果缺少了其中某个,比如说: vim-enhanced这个包少了,则执行:
yum -y install vim-enhanced
它会自动下载安装。如果上面三个包一个都没有显示,则直接输入命令:
yum -y install vim*
执行命令后会自动安装,完毕后就可以使用vim编辑器了。
退出并保存即可。
- 配置java环境变量
-
解压jdk
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/lib/jvm
-
配置变量
1)打开proflie文件
vim /etc/profile
2)将光标移动至文末,按i进入编辑模式,在文末添加以下内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_181 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
3)按Esc键退出编辑,输入 :wq 保存并退出文件,执行以下内容使环境变量生效
source /etc/profile
检查jdk是否安装配置成功
java -version
显示版本号成功
###二、配置hadoop
-
解压
文件在software下,解压到/usr/local/;并改名hadooptar -zxvf hadoop-3.1.3.tar.gz -C /usr/local/ mv hadoop-3.1.3.tar.gz hadoop
-
配置hadoop
1)配置环境变量
vim /etc/profile
按i进入编辑模式,在文末添加
export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
按Esc退出编辑,输入 :wq 保存并退出,执行以下内容使环境变量生效
source /etc/profile
2)配置hadoop-env.sh
切到/usr/local/hadoop-3.1.2/etc/hadoop目录下,2)- 4)都是在这个目录下配置
cd /usr/local/hadoop/etc/hadoop
打开hadoop-env.sh
vi hadoop-env.sh
找到# export JAVA_HOME=,按i进入编辑模式,修改为以下内容后,按Esc,输入 :wq 保存并退出
export JAVA_HOME=/usr/local/jdk1.8.0_181
3)配置core-site.xml,修改为以下内容,其中第5行 ct01 改为自己的主机名
hadoop.tmp.dir ##临时存储目录file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS ##hdfs路径的逻辑名称hdfs://localhost:9000
4)配置hdfs-site.xml,修改为以下内容
dfs.replication ##副本的数量1 ##存储fsimage文件的目录 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name ##HDFS数据存放的地方 dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data
5)配置start-dfs.sh,stop-dfs.sh
切到/usr/local/hadoop-3.1.2/sbin目录,5)- 6)在这个目录配置
cd /usr/local/hadoop-3.1.2/sbin
在start-dfs.sh,stop-dfs.sh第二行添加以下内容,因为是root登录的,不配置会出现错误
HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
6)配置start-yarn.sh,stop-yarn.sh,在第二行添加以下内容
YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root
7)在环境变量中添加以下配置 vim /etc/profile
export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root
- 设置shh免密设置
实现SSH免密码远程登录,因为是伪分布式集群,其实就是自己登录自己(如果已经配置过可跳过)
1)创建公钥/私钥,一路回车
ssh-keygen -t rsa
2)创建authorized_keys文件并修改权限为600
cd ~/.ssh touch authorized_keys chmod 600 authorized_keys
3)将公钥追加到authorized_keys文件中
cat id_rsa.pub >> authorized_keys
尝试能否免密登录,能登陆就成功了,尝试后,输入exit退出
ssh 自己的主机名
-
关闭防火墙
查看防火墙状态firewall-cmd --state
1)关闭防火墙systemctl stop firewalld.service
2)禁止开机时防火墙自启systemctl disable firewalld.service
###三、格式化节点,启动hadoop
格式化hadoop,不要多次格式化。多次格式化会导致DataNode无法正常启动,解决办法在文末(以下运行要在./sbin)
./sbinhadoop namenode -format
启动&停止hadoop
./sbinstart-all.sh ./sbinstop-all.sh
启动以后可以输入jps,看有没有下面这些进程
16352 NameNode 21362 Jps 16644 SecondaryNameNode 17017 NodeManager 16475 DataNode 16891 ResourceManager
输入netstat -tpnl | grep java,查看是否有9870和8088端口,刚启动需要等待一会儿才能查询到端口,等待时间视虚拟机情况而定
netstat -tpnl | grep java
可以在浏览器访问ip:9870和ip:8088
###四、问题
多次格式化会导致DataNode无法正常启动(很多人遇到这个问题)
- 方法一
1)打开/usr/local/hadoop/tmp/dfs
cd /usr/local/hadoop/tmp/dfs
2)有name和data两个目录,将data/current/VERSION中clusterID的值改为name/current/VERSION中clusterID的值
找到并复制clusterID的值
cat name/current/VERSION
修改clusterID的值
vi data/current/VERSION
3)重新启动hadoop
- 方法二
可以直接删除/usr/local/hadoop/tmp/dfs里的内容。然后格式化重新生成
ip:50070无法访问
hadoop 3.X版本以上,50070端口已改为9870端口,访问ip:9870即可
解决问题的最好办法
查看logs!如果看不懂请百度。修改之后记得重启hadoop
以本文为例,logs路径为:/usr/local/hadoop-3.1.2/logs



