栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop安装配置

Hadoop安装配置

1.集群的准备工作;

2.单节点配置;

2.1 纵向配置

如果使用root账户配置全部用户的环境变量,修改配置文件/ect/profile。

如果使用ZNL配置环境变量,则修改配置文件/home/ZNL/.bashrc

增加如下内容:

#Hadoop

export HADOOP_HOME= /home/ZNL/hadoop-2.7.6

export PATH={HADOOP_HOME}/bin:$PATH

#Java

export JAVA_HOME= /home/ZNL/jdk1.8.0_271

export PATH={JAVA_HOME}/bin:$PATH

2.2 横向配置

横向配置涉及/home/ZNL/hadoop-2.7.6目录下的四个配置文件,分别是:core-site.xml, hdfs-site.xml. hadoop-env.sh和slaves

a. 配置core-site.xml

  

fs.defaultFS

hdfs://westgisB099:8020

 

b. 配置hdfs-site.xml

 

        dfs.replication

        3

 

 

       dfs.namenode.name.dir

        /home/ZNL/name

 

        dfs.datanode.data.dir

        /home/ZNL/data

 

c. 配置hadoop-env.sh

在文件最后增加export JAVA_HOME= /home/ZNL/jdk1.8.0_271

d. 配置slaves

打开该文件,将HDFS集群所有的DataNode机器名加入到文件中,每行一个DataNode,形式如:

westgisB095

westgisB096

westgisB097

westgisB098

......

2.3复制主节点配置到所有从节点

首先,将NameNode上环境变量配置文件拷贝到每个DataNode,接着将NameNode上$/HADOOP_HOME/ZNL/hadoop-2.7.6下的四个配置文件拷贝到所有DataNode节点。

此处可以写全自动化的脚本在主节点上执行,脚本内容如下:

scp -r /home/ZNL/hadoop-2.7.6 ZNL@wesigisB095:/home/ZNL/hadoop-2.7.6(以westgisB095为例)

scp -r /home/ZNL/.bashrc ZNL@westgisB095:/home/ZNL/

scp  /home/ZNL/hadoop-2.7.6/etc/hadoop/core-site.xml  ZNL@westgisB095:/home/ZNL/hadoop-2.7.6/etc/hadoop/

scp /home/ZNL/hadoop-2.7.6/etc/hadoop/hdfs-site.xml ZNL@westgisB095:/home/ZNL/hadoop-2.7.6/etc/hadoop/

scp /home/ZNL/hadoop-2.7.6/etc/hadoop/hadoop-env.sh ZNL@westgisB095:/home/ZNL/hadoop-2.7.6/etc/hadoop/

scp /home/ZNL/hadoop-2.7.6/etc/hadoop/slaves  ZNL@westgisB095:/home/ZNL/hadoop-2.7.6/etc/hadoop/

3、 全部节点配置;

4、 初始化集群;

a.格式化HDFS

    hadoop namenode -format

b.启动HDFS

  主节点执行 $HADOOP_HOME/sbin/start-dfs.sh

c.Web监控界面

    URL   http://10.103.105.99:50070

  

d.命令行状态查看集群状态

   hadoop dfsadmin –report   

e.停止HDFS

主节点执行 $HADOOP_HOME/sbin/stop-dfs.sh

5.常见的错误排查方法

 a. 查看java进程(一)

   jps  

 b.查看java进程(二)

  ps aux|grep java 

 c.查看端口是否开启

   netstat –tunlp|grep 50070   

 d.占用某个端口的进程

   lsof–i:50070 

 e.异常处理查看日志

   $HADOOP_HOME/logs/*-DataNode-.log

     命令:cd /home/ZNL/hadoop-2.7.6/logs

           cat hadoop-ZNL-namenode-westgisB099.log

   $HADOOP_HOME/logs/*-DataNode-.out

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/601509.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号