栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

2.2 分布式文件系统HDFS

2.2 分布式文件系统HDFS

  • 编程要求

        1.在HDFS中创建/usr/output/文件夹;

        2.在本地创建hello.txt文件并添加内容:“HDFS的块比磁盘的块大,其目的是为了最小化寻址开销。”;

        3.将hello.txt上传至HDFS的/usr/output/目录下;

        4.删除HDFS的/user/hadoop目录;

        5.将Hadoop上的文件hello.txt从HDFS复制到本地/usr/local目录。

  • 开始编程

        1.启动Hadoop

start-dfs.sh

          启动成功结果如下图:

        2.在HDFS中创建/usr/output/文件夹:

hadoop fs -mkdir /usr
hadoop fs -mkdir /usr/output/

        3.在本地创建hello.txt文件:

touch hello.txt

        进入hello.txt文件:

vim hello.txt   

        按i,输入“HDFS的块比磁盘的块大,其目的是为了最小化寻址开销。”

        按Esc,输入:wq保存并退出hello.txt文件

        4.将hello.txt上传至HDFS的/usr/output/目录下:

hadoop fs -put hello.txt /usr/output/

        5.删除HDFS的/user/hadoop目录:

hadoop fs -rmr /user/hadoop

        出现以下界面表示删除成功:

 

 

        6.将Hadoop上的文件hello.txt从HDFS复制到本地/usr/local目录:

hadoop fs -copyToLocal /usr/output/hello.txt /usr/local

下图列出了Hadoop常用的shell命令: 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/601349.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号