栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

虚拟机上安装hadoop

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

虚拟机上安装hadoop

一、下载VMware虚拟机,并在虚拟机上安装centos7系统

具体的安装过程可见:VMware下安装centos6.7的步骤 - 还能和老板谈感情吗 - 博客园

接下来给虚拟机进行NAT设置:详情可见我上传的文件《VMware中CentOS 设置固定IP同时连接内外网》

二、hadoop环境的搭建

下载jdk 和 hadoop 放到 ~/software目录下 然后解压到 ~/app目录下

tar -zxvf 压缩包名字 -C ~/app/

配置环境变量

vi ~/.bashrc
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/hadoop/app/hadoop......
export PATH=$HADOOP_HOME/bin:$PATH

#保存退出后
source ~/.bashrc

进入到解压后的hadoop目录 修改配置文件

  • 配置文件作用

    • core-site.xml 指定hdfs的访问方式

    • hdfs-site.xml 指定namenode 和 datanode 的数据存储位置

    • mapred-site.xml 配置mapreduce

    • yarn-site.xml 配置yarn

  • 修改hadoop-env.sh

cd etc/hadoop
vi hadoop-env.sh
#找到下面内容添加java home
export_JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
  • 修改 core-site.xml 在 节点中添加


  fs.default.name
  hdfs://hadoop000:8020
  • 修改hdfs-site.xml 在 configuration节点中添加

    
        dfs.namenode.name.dir
        /home/hadoop/app/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        /home/hadoop/app/tmp/dfs/data
    
    
        dfs.replication
        1
    

  • 修改 mapred-site.xml

  • 默认没有这个 从模板文件复制

    cp mapred-site.xml.template mapred-site.xml

    在mapred-site.xml 的configuration 节点中添加

  • 
        mapreduce.framework.name
        yarn
    

  • 修改yarn-site.xml configuration 节点中添加

  • 
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    来到hadoop的bin目录

    cd ./hadoop namenode -format (这个命令只运行一次)

    启动hdfs 进入到 sbin

  • ./start-dfs.sh
  • 启动启动yarn 在sbin中

几个要注意的地方:

  1. 如果你是hadoop运行模式是伪分布式,那么namenode和datanode是在同一个机器中,那么需要修改hadoop目录下的 etc/slaves文件。hadoop000设置成你的主机名,剩下的注释即可。
  2. 如果在操作hdfs是,显示 name node is safe,使用hdfs dfsadmin -safemode leave即可关闭安全模式。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/956917.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号