栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

HDFS总结

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

HDFS总结

目录
  • HDFS写流程
  • HDFS读流程
  • 并行和并发的区别
  • 2NN
  • HDFS总结

HDFS写流程

串行写。
写得过程中是以packet(64k)为单位进行写。
packet = chunk 512byte +chunksum 4byte(校验位)
写过程中,首先在缓存区中形成一个个得chunk+chunksum,然后得到packet,再讲packet放在缓冲队列中,在向DataNode输入数据。

HDFS读流程

不能并行读,只能串行读。

并行和并发的区别

进程:系统分配资源的最小单位。进程包括多个线程。
线程:程序执行的最小单位,是cpu调度的最小单位。

并发:指的是多个线程进行操作的时候,系统只有一个cpu,不可能同时执行两个线程,只能分时间段进行线程的运行,在一个时间段进行线程运行,其余线程处于挂起状态。

并行:指的是不抢占cpu资源,系统有两个及以上的cpu时候。当一个CPU执行一个线程时,另一个CPU可以执行 另一个线程,两个线程互不抢占CPU资源,可以同时进行,这种方式我们称之为并行。

2NN

命令: sz a.txt 将虚拟机的a.txt存到本地。

NameNode , NameNodeSecurity,一般不用了。企业会搭建两个NameNode的高可用。

HDFS总结

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/322772.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号