栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop环境搭建教程(hadoop安装配置步骤)

hadoop环境搭建教程(hadoop安装配置步骤)

这篇文章主要记录安装hadoop的过程,给后来者一点帮助,

  • 官网获取安装包

    选一款你想要的

    Apache Hadoop 

  • 下载完成后上传到服务器(我用的是finalshell)

    先别急着解压

  • 准备Java包

    像上面一样官网下载对应的Java包

    这边我已经准备好了

    jdk-8u212-linux-x64.tar

    同样的 上传到服务器

  • 现在我们开始正式安装hadoop

  • 新建一个个人用户

    adduser wolf   (我用的是wolf  大家可以随意设计)

    su – wolf   进入到wolf用户下

  • 新建几个文件夹

    将root 用户下的

    Hadoop压缩包和java包解压到 wolf用户下software文件夹

    cp Hadoop-3.1.3.tar.gz /home/wolf/software

    cp jdk-8u181-linux-x64.tar.gz /home/wolf/software

    然后依次解压到app文件夹下

    好了,现在app文件夹下就有了两个文件夹

  • 接下来创建软链接

    创建软链接的好处之一就是切换版本无感知,对日后的版本管理提供了很大的便利性

    ll 一下

  • 接下来要更改 etc/hadoop/core-site.xml

    在最后一段加上

    注意要改成自己的用户名

  • 接下来要更改 etc/hadoop/hdfs-site.xml

    在最后一段加上

  • 接着我们要修改主机名

    执行

    hostnamectl set-hostname wolf        这边一定修改 不然会报错的

  • 接着修改workers

    修改成自己的用户名

    改完之后要重新进入服务器 才能生效

  • 接着配置下/home/wolf/app/hadoop/etc/hadoop/ hadoop-env.sh

    Vi hadoop-env.sh

    这边要设置下java_home  

    这个时候应该能体会到软链接的好处,下次我们更新jdk版本的时候只需要整体替换jdk包就行了,不需要再一个个修改这些路径了

  • 接着设置下免登录

    分别执行

    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    chmod 0600 ~/.ssh/authorized_keys

  • 最后修改环境变量

    切换到root用户下

    vi /etc/profile

    在文件最后添加这么几行代码

    export JAVA_HOME=/home/wolf/app/java

    export PATH=$JAVA_HOME/bin:$PATH

    保存退出

    并执行 source /etc/profile   重启使环境变量生效

  • 安装hadoop

  • 格式化节点

    来到 /home/wolf/app/Hadoop  路径下

    执行

    bin/hdfs namenode -format

    当出现这句话时 就说明执行成功了

  • 启动hadoop

    sbin/start-dfs.sh

    这样就启动起来了

  • 最后结果

    输入 jps

    看到这几个结果 就算是大功告成了

  • 转载请注明:文章转载自 www.mshxw.com
    本文地址:https://www.mshxw.com/it/771777.html
    我们一直用心在做
    关于我们 文章归档 网站地图 联系我们

    版权所有 (c)2021-2022 MSHXW.COM

    ICP备案号:晋ICP备2021003244-6号