1.集群的准备工作;
2.单节点配置;
2.1 纵向配置
如果使用root账户配置全部用户的环境变量,修改配置文件/ect/profile。
如果使用ZNL配置环境变量,则修改配置文件/home/ZNL/.bashrc
增加如下内容:
#Hadoop
export HADOOP_HOME= /home/ZNL/hadoop-2.7.6
export PATH={HADOOP_HOME}/bin:$PATH
#Java
export JAVA_HOME= /home/ZNL/jdk1.8.0_271
export PATH={JAVA_HOME}/bin:$PATH
2.2 横向配置
横向配置涉及/home/ZNL/hadoop-2.7.6目录下的四个配置文件,分别是:core-site.xml, hdfs-site.xml. hadoop-env.sh和slaves
a. 配置core-site.xml
b. 配置hdfs-site.xml
c. 配置hadoop-env.sh
在文件最后增加export JAVA_HOME= /home/ZNL/jdk1.8.0_271
d. 配置slaves
打开该文件,将HDFS集群所有的DataNode机器名加入到文件中,每行一个DataNode,形式如:
westgisB095
westgisB096
westgisB097
westgisB098
......
2.3复制主节点配置到所有从节点
首先,将NameNode上环境变量配置文件拷贝到每个DataNode,接着将NameNode上$/HADOOP_HOME/ZNL/hadoop-2.7.6下的四个配置文件拷贝到所有DataNode节点。
此处可以写全自动化的脚本在主节点上执行,脚本内容如下:
scp -r /home/ZNL/hadoop-2.7.6 ZNL@wesigisB095:/home/ZNL/hadoop-2.7.6(以westgisB095为例)
scp -r /home/ZNL/.bashrc ZNL@westgisB095:/home/ZNL/
scp /home/ZNL/hadoop-2.7.6/etc/hadoop/core-site.xml ZNL@westgisB095:/home/ZNL/hadoop-2.7.6/etc/hadoop/
scp /home/ZNL/hadoop-2.7.6/etc/hadoop/hdfs-site.xml ZNL@westgisB095:/home/ZNL/hadoop-2.7.6/etc/hadoop/
scp /home/ZNL/hadoop-2.7.6/etc/hadoop/hadoop-env.sh ZNL@westgisB095:/home/ZNL/hadoop-2.7.6/etc/hadoop/
scp /home/ZNL/hadoop-2.7.6/etc/hadoop/slaves ZNL@westgisB095:/home/ZNL/hadoop-2.7.6/etc/hadoop/
3、 全部节点配置;
4、 初始化集群;
a.格式化HDFS
hadoop namenode -format
b.启动HDFS
主节点执行 $HADOOP_HOME/sbin/start-dfs.sh
c.Web监控界面
URL http://10.103.105.99:50070
d.命令行状态查看集群状态
hadoop dfsadmin –report
e.停止HDFS
主节点执行 $HADOOP_HOME/sbin/stop-dfs.sh
5.常见的错误排查方法
a. 查看java进程(一)
jps
b.查看java进程(二)
ps aux|grep java
c.查看端口是否开启
netstat –tunlp|grep 50070
d.占用某个端口的进程
lsof–i:50070
e.异常处理查看日志
$HADOOP_HOME/logs/*-DataNode-.log
命令:cd /home/ZNL/hadoop-2.7.6/logs
cat hadoop-ZNL-namenode-westgisB099.log
$HADOOP_HOME/logs/*-DataNode-.out



