栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

hadoop从零配置-本地下

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

hadoop从零配置-本地下

配置Hadoop环境
一、配置基础环境(CentOs)

  1. 安装虚拟机(默认最小安装)
    最小化安装

  2. 配置ip网络-config
    配置网络:

     cd /etc/sysconfig/network-scripts
     ls
     vi ifcfg-ens33
     把“ONBOOT”改为yes
     保存并退出
     更新
     service network restart
     查询ip:ifconfig
     链接xshell
    
  3. 安装vim

1.检查是否已安装
查看一下你本机已经存在的包,确认一下你的VIM是否已经安装,输入:

rpm -qa|grep vim

如果已安装,会显示:

[root@localhost usr]# rpm -qa|grep vim

vim-minimal-7.4.629-6.el7.x86_64

vim-filesystem-7.4.629-6.el7.x86_64

vim-enhanced-7.4.629-6.el7.x86_64

vim-common-7.4.629-6.el7.x86_64

vim-X11-7.4.629-6.el7.x86_64

2.安装
如果缺少了其中某个,比如说: vim-enhanced这个包少了,则执行:

yum -y install vim-enhanced

它会自动下载安装。如果上面三个包一个都没有显示,则直接输入命令:

yum -y install vim*

执行命令后会自动安装,完毕后就可以使用vim编辑器了。

退出并保存即可。

  1. 配置java环境变量
  • 解压jdk

    tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/lib/jvm

  • 配置变量

    1)打开proflie文件

          vim /etc/profile
    

    2)将光标移动至文末,按i进入编辑模式,在文末添加以下内容

      export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_181
      export PATH=$PATH:$JAVA_HOME/bin
      export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    

    3)按Esc键退出编辑,输入 :wq 保存并退出文件,执行以下内容使环境变量生效

          source /etc/profile
    

    检查jdk是否安装配置成功

          java -version
    

    显示版本号成功

###二、配置hadoop

  1. 解压
    文件在software下,解压到/usr/local/;并改名hadoop

     tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local/
     mv hadoop-3.1.3.tar.gz hadoop
    
  2. 配置hadoop

    1)配置环境变量

     vim /etc/profile
    

    按i进入编辑模式,在文末添加

     export HADOOP_HOME=/usr/local/hadoop
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    

按Esc退出编辑,输入 :wq 保存并退出,执行以下内容使环境变量生效

source /etc/profile

2)配置hadoop-env.sh

切到/usr/local/hadoop-3.1.2/etc/hadoop目录下,2)- 4)都是在这个目录下配置

cd /usr/local/hadoop/etc/hadoop

打开hadoop-env.sh

vi hadoop-env.sh

找到# export JAVA_HOME=,按i进入编辑模式,修改为以下内容后,按Esc,输入 :wq 保存并退出

export JAVA_HOME=/usr/local/jdk1.8.0_181

3)配置core-site.xml,修改为以下内容,其中第5行 ct01 改为自己的主机名



hadoop.tmp.dir  ##临时存储目录
file:/usr/local/hadoop/tmp
Abase for other temporary directories.


fs.defaultFS  ##hdfs路径的逻辑名称
hdfs://localhost:9000


4)配置hdfs-site.xml,修改为以下内容



dfs.replication##副本的数量
1

##存储fsimage文件的目录
dfs.namenode.name.dir       
file:/usr/local/hadoop/tmp/dfs/name

##HDFS数据存放的地方
dfs.datanode.data.dir
file:/usr/local/hadoop/tmp/dfs/data


5)配置start-dfs.sh,stop-dfs.sh

切到/usr/local/hadoop-3.1.2/sbin目录,5)- 6)在这个目录配置

cd /usr/local/hadoop-3.1.2/sbin

在start-dfs.sh,stop-dfs.sh第二行添加以下内容,因为是root登录的,不配置会出现错误

HDFS_DATANODE_USER=root  
HDFS_DATANODE_SECURE_USER=hdfs  
HDFS_NAMENODE_USER=root  
HDFS_SECONDARYNAMENODE_USER=root

6)配置start-yarn.sh,stop-yarn.sh,在第二行添加以下内容

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

7)在环境变量中添加以下配置 vim /etc/profile

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
  1. 设置shh免密设置

实现SSH免密码远程登录,因为是伪分布式集群,其实就是自己登录自己(如果已经配置过可跳过)
1)创建公钥/私钥,一路回车

ssh-keygen -t rsa

2)创建authorized_keys文件并修改权限为600

cd ~/.ssh
touch authorized_keys
chmod 600 authorized_keys

3)将公钥追加到authorized_keys文件中

cat id_rsa.pub >> authorized_keys

尝试能否免密登录,能登陆就成功了,尝试后,输入exit退出

ssh 自己的主机名

  1. 关闭防火墙
    查看防火墙状态

    firewall-cmd --state
    1)关闭防火墙

    systemctl stop firewalld.service
    2)禁止开机时防火墙自启

    systemctl disable firewalld.service

###三、格式化节点,启动hadoop

格式化hadoop,不要多次格式化。多次格式化会导致DataNode无法正常启动,解决办法在文末(以下运行要在./sbin)

./sbinhadoop namenode -format

启动&停止hadoop

./sbinstart-all.sh
./sbinstop-all.sh

启动以后可以输入jps,看有没有下面这些进程

16352 NameNode
21362 Jps
16644 SecondaryNameNode
17017 NodeManager
16475 DataNode
16891 ResourceManager

输入netstat -tpnl | grep java,查看是否有9870和8088端口,刚启动需要等待一会儿才能查询到端口,等待时间视虚拟机情况而定

netstat -tpnl | grep java

可以在浏览器访问ip:9870和ip:8088

###四、问题
多次格式化会导致DataNode无法正常启动(很多人遇到这个问题)

  • 方法一

1)打开/usr/local/hadoop/tmp/dfs

cd /usr/local/hadoop/tmp/dfs

2)有name和data两个目录,将data/current/VERSION中clusterID的值改为name/current/VERSION中clusterID的值

找到并复制clusterID的值

cat name/current/VERSION

修改clusterID的值

vi data/current/VERSION

3)重新启动hadoop

  • 方法二

可以直接删除/usr/local/hadoop/tmp/dfs里的内容。然后格式化重新生成

ip:50070无法访问
hadoop 3.X版本以上,50070端口已改为9870端口,访问ip:9870即可

解决问题的最好办法
查看logs!如果看不懂请百度。修改之后记得重启hadoop

以本文为例,logs路径为:/usr/local/hadoop-3.1.2/logs

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/981006.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号