栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

请谈一谈你对hdfs的认识(hdfs简介)

请谈一谈你对hdfs的认识(hdfs简介)

查看常用命令:

hdfs --help

可以查看能用哪些 HDFS 命令,以下为可能会用到的一些命令

dfsadmin             run a DFS admin client
fsck                 run a DFS filesystem checking utility
dfs                  run a filesystem command on the file system
namenode             run the DFS namenode

一,先查看dfsadmin命令,先输入 hdfs dfsadmin 查看有哪些能用的

查看hdfs的安全模式:

bin/hdfs dfsadmin -safemode get

查看结果:

Safe mode is OFF

OFF 安全模式关闭

ON 安全模式打开(可以读,写不行)

如果ON,也就进入了安全模式,有两张情况

1.被动进入:

说明HDFS集群有问题,相当于保护模式

2.主动进入:

主要是维护,保证这段时间HDFS不会有新数据/文件写入

二、查看fsck命令

bin/hdfs fsck /

 

三、格式化namenode

hdfs namenode -format

HDFS的回收站

hdfs dfs -rm -f /user//output

执行命令后,默认直接删除,不会进入回收站

在hadoop/etc/hadoop下的core-site.xml中进行配置

    
        fs.trash.interval
        10080
    

10080单位为分钟,为回收站保存7天时间,配置完成后重启hdfs

创建两个文件夹进行测试

hdfs dfs -mkdir -p delete/test1
hdfs dfs -mkdir -p delete/test2

先对test1执行普通的删除

bin/hdfs dfs -rm -r delete/test1

运行结果:

INFO fs.TrashPolicyDefault: Moved: 'hdfs://:9000/user//delete/test1' to trash at: hdfs://:9000/user//.Trash/Current/user//delete/test1

发现文件移到了.Trash文件夹下,查看该文件夹

bin/hdfs dfs -ls /user//.Trash/Current/user//delete/

发现刚才删除的文件夹到了这个目录下,类比windows中先把文件放到回收站

然后对test2进行跳过回收站的删除

bin/hdfs dfs -rm -r -skipTrash delete/test2

返回结果

Deleted delete/test2

再查看一下回收站,发现没有test2,生产上不能使用 -skipTrash。

如何找到这些比如 core-site.xml 中的参数是做什么的,上Hadoop的官网查看https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

 修改tmp目录的参数

 刚刚修改的删除文件保存分钟数

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/771456.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号