栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

HDFS单节点配置(以主节点为例)

HDFS单节点配置(以主节点为例)

一、 纵向配置

如果使用root账户配置全部用户的环境变量,则修改配置文件:

/ect/profile

如果使用用户TJY配置环境变量,则修改配置文件:

cd /home/TJY
vim .bashrc

增加如下内容:

#Hadoop
export HADOOP_HOME=/home/TJY/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

 

路径生成:

source .bashrc

检验:

hadoop

如下图所示,则安装成功:

二、横向配置

进入$/HADOOP_HOME/etc/hadoop目录:

cd hadoop/hadoop-2.7.6/etc/hadoop

完成该目录下的四个配置文件:

a. 配置core-site.xml 
vim core-site.xml

更改如下内容:



        fs.defaultFS
        hdfs://westgisB040:8020
  

b.配置hdfs-site.xml
vim hdfs-site.xml

更改如下内容:


  
        dfs.replication
        3
  

      dfs.namenode.name.dir
        /home/TJY/hdfs/name
  

        dfs.datanode.data.dir
        /home/TJY/hdfs/data   
  

c.配置hadoop-env.sh
vim hadoop-env.sh

在文件最后增加JAVA_HOME:

export JAVA_HOME=/home/TJY/jdk/jdk1.8.0_271
d. 配置slaves
vim slaves

删除文件中 localhost ,然后添加HDFS集群所有的DataNode机器名,每行一个,形式如下:

westgisB0XX
westgisB0XX
westgisB0XX
westgisB0XX

三、复制主节点配置到所有从节点

首先,将NameNode上相关文件拷贝到所有的DataNode节点,具体有:

  • 环境变量配置文件.bashrc
  • $/HADOOP_HOME/etc/hadoop目录下的四个配置文件

语句参考:

## 文件目录拷贝
scp -r /home/TJY/hdfs TJY@10.103.105.41:/home/TJY

##  安装目录拷贝
scp -r /home/TJY/hadoop/hadoop-2.7.6 TJY@10.103.105.41:/home/TJY/hadoop

四、集群的初始化与启动

 a.格式化HDFS

hadoop namenode -format

  

 b.启动HDFS

$HADOOP_HOME/sbin/start-dfs.sh

 c. 查看java进程

jps

d.停止HDFS

$HADOOP_HOME/sbin/stop-dfs.sh
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/281266.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号