栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

HDFS的shell命令

HDFS的shell命令

调用文件系统(FS)的shell命令应使用 bin/hdfs dfs -xxx的形式所有的FS Shell命令使用URL路径作为参数URL的格式是scheme://authority/pash。HDFS的scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的scheme。大多数的FS Shell命令的行为和对应的Linux Shell命令类似 调用文件系统(FS)shell命令应使用bin/hdfs dfs -xxx的形式

ls 查看hdfs上的目录,例如:hdfs dfs -ls /put 将本地文件上传到hdfs,如hdfs dfs -put 本地文件路径 hdfs路径get 将hdfs文件下载到本地,如hdfs dfs -get hdfs文件路径 本地文件路径mkdir 在hdfs上创建文件夹,如hdfs dfs -mkdir /testcp 将hdfs文件或目录复制,如hdfs dfs -cp /test.txt/a/cta 查看hdfs上文件内容,如dhfs dfs -cat /test.txt 运行word count实例

如同刚开始学习编程一样,我们首先接触的肯定是helloworld,在hadoop里面,第一个程序是word count,这个程序就是统计单词出现的次数,这个程序在我们安装hadoop的时候已经自带了一个jar包,所以可以直接使用
在这里,前期我已经创建了一个文件words并上床到hdfs中的input文件夹(自己创建)中,并在文件中随机写入单词

hadoop jar hadoop-mapreduce-examples-2.7.6.jar wordcount /input /output

运行效果:根据hadoop的50070界面我们可以很直观的看见系统为我们自行创建了一个output文件夹

进入文件夹我们可以看见

我们可以点击Download来下载文件并在vscode中打开

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/742884.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号