栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Linux Hadoop HDFS 操作 简记

Linux Hadoop HDFS 操作 简记

基本的基本~

hadoop fs:适用于任何不同的文件系统,如本地文件系统和hdfs文件系统

hadoop dfs 或 hdfs dfs:只适用于HDFS文件系统

HDFS命令与Linux命令基本一致,只不过要在命令前加hadoop

start-all.sh                      启动HDFS、启动YARN集群

jps                                  查看namenode、datanode,secondnamenode三个进程

以此保证hadoop已经安装成功且启动

若jps后发现缺少进程,可将设置存储Hadoop的信息目录清空(一般为tmp目录),将此目录清空即可。也可直接删除此目录,然后新建一个。然后,进行格式化(hdfs   namenode   -format)这样所产生的NameNode和DataNode信息都是新的,也都是一组的,问题就解决了

常用命令:

hadoop fs -ls  ([-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u])       目录路径    

hadoop fs -df -h         (统计文件系统的可用空间信息)

hadoop fs -put   文件HDFS目录        (可以把本地或者hdfs上的文件拷贝到hdfs中)

hadoop fs -moveFromLocal        (从hdfs将文件传到本地)

hadoop fs -moveToLocal   

hadoop fs -appendToFile        文件名    ( 追加一个文件到已经存在的文件末尾)

hadoop fs -cat              (显示文件内容)

hadoop fs -text            (以字符形式打印一个文件的内容)

hadoop fs -get      HDFS文件 本地文件       (从hdfs下载文件到本地)

hadoop fs -getmerge   目录路径*   文件            (合并下载多个文件)

hadoop fs -copyToLocal    (从hdfs下载文件到本地)

hadoop fs -copyFromLocal       (严格限制只能拷贝本地文件到hdfs中)

hadoop fs -mkdir    -p (将上层目录一起建好) (后面可以加新建目录路径和新建目录名称)

hadoop fs -rmdir                      (删除空目录)

hadoop   fs   -chmod      (修改权限)

hadoop   fs   -chgrp     (改变文件或目录的所属群组)

hadoop   fs   -chown      (改变文件或者目录的所有者)

hadoop fs -mv             (移动/改名)

hadoop fs -getmerge              (合并下载多个文件)

hadoop fs -rm

hadoop fs -rm -r                      (删除文件或文件夹)

hadoop  fs  -du    目录路径      (显示目录下所有文件的大小)

hadoop fs -count                       (查看文件大小)

hadoop  fs  -stat   (指定路径的统计信息)

hadoop   fs   -cp   (目标目录存在,则追加cp的数据,若不存在,则创建目录并写入cp的数据)

hdfs  dfsadmin   –report        (查看集群的工作状态)
 

   

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/774689.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号