栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop伪分布式搭建

Hadoop伪分布式搭建

注:一定要看好自己所在的位置,注意空格和大小写

一、切换到hadoop下面的etc(配置文件都在etc下面)

二、在hadoop中配置core-site.xml

        1、命令:vi core-site.xml

        2、指定HDFS中namenode的地址,将命令放到configuration标签中。

三、在hadoop中配置hdfs-site.xml

       1、命令:vi hdfs-site.xml

       2、在configuration中指定HDFS的数量

四、格式化NameNode(第一次启动时需要个格式化,以后就不用经常格式化)

        格式化命令:hdfs namenode –format

五、启动namenode和datanode

        启动命令为:hdfs --daemon start namenode

                              hdfs --daemon start datanode

六、配置yarn-site.xml

        命令:vi yarn-site.xml

七、配置mapred-site.xml

        命令:vi mapred-site.xml

八、启动resourcemanager和nodemanager

        启动命令为:yarn --daemon start resourcemanager

                             yarn --daemon start nodemanager

九、用jsp查看Java进程

        命令:jsp

十、在HDFS中创建文件夹/user/input

        命令:hdfs dfs -mkdir -p /user/input

十一、将文件上传到HDFS

        命令:hdfs  dfs  –put 要上传的文件名 上传的地址

十二、查看hdfs的文件目录

        命令:hdfs dfs –ls 文件路径

        注:这里的根目录不是linux的根目录( 例如:hdfs dfs -ls /user/input/)

十三、查看hdfs中文件内容

        命令:hdfs dfs –cat 文件名

十四、执行文件

    命令:hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 执行的文件位置 输出的文件位置

        注:标红的地方要和自己的jar包做一下对比

十五、查看执行后的结果

        命令:hdfs dfs -cat 输出文件路径/*

十六、停止进程

        命令:hdfs –daemon stop namenode

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/653720.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号