栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop伪分布式搭建笔记

hadoop伪分布式搭建笔记

1、切换到hadoop下面的etc(配置文件都在etc下面)

2、在hadoop中配置core-site.xml

3、在hadoop中配置hdfs-site.xml

 4、格式化NameNode(第一次启动时格式化,不要总是格式化) 

格式化命令:hdfs namenode –format

5、启动namenode          

      命令:hdfs  - -daemon  start  namenode

6、启动datanode

     命令:hdfs  --daemon start datanode

7、启动resourcemanager

      命令:[root@hadoop1000 hadoop]# yarn --daemon start resourcemanager

8、启动nodemanager

      命令:[root@hadoop1000 hadoop]# yarn --daemon start nodemanager

9、Jsp查看java进程

      命令:jsp

10、在HDFS中创建文件夹/user/input

       命令:hdfs dfs -mkdir -p /user/input

11、在HDFS中创建文件夹/user/input

       命令:hdfs dfs -mkdir -p /user/input

12、将文件上传到HDFS

       命令:hdfs  dfs  –put 要上传的文件名 上传的地址

       案例: hdfs  dfs  -put  wcinput/wc.input   /user/input/

13、查看hdfs的文件目录

       命令:Hdfs dfs –ls 文件路径   

       注意:这里面的根目录不是linux的根目录

       案例:hdfs dfs -ls /user/input/

14、查看hdfs中文件内容

       命令:hdfs dfs –cat 文件名

       案例:hdfs dfs -cat /user/input/wc.input

15、执行文件

       命令:hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-             3.1.3.jar wordcount 执行的文件位置 输出的文件位置

16、查看执行后的结果

        命令:hdfs dfs -cat 输出文件路径/*

        案例:hdfs dfs -cat /user/output/*

17、停止进程

       命令:hdfs –daemon stop namenode

       群起命令:start-all.sh

       群停命令:stop-all.sh

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663811.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号