栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

咦,HDFS的源码竟然可以这么看(扯淡篇)?

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

咦,HDFS的源码竟然可以这么看(扯淡篇)?

先说说为什么要有扯淡篇,其实很简单,个人干了差不多两年Java之后,就转入了大数据,感觉大数据的逼格比较高,稀里糊涂的就进来了,学了很多组件API,最后发现又来一个新的组件,还是打通不了知识点,还是从头学习,别人用一周可以把基础源码能看一通的,你可能基础源码10%都看不了,只能一周学习一些API,简单说,其实就是基础太薄弱,举个例子,就像你要和别人干仗,你学习了好多招,什么勾拳,螳螂拳,但是拳头没有力气,一段时间可能能伤别人个皮毛,但根本打不倒对方的。别人拳头很有力气,你发现一招足以干倒你,就是这个意思,完全自身体会,不喜勿喷

首先要看懂一个分布式的源码,个人认为需要储备的知识,比如说Java集合,各种数据结构,volatile、CAS、ThreadLocal、AQS、ThreadPoolExecutor,多线程并发的一些手段,还有就是IO的一些存储,比如说一般数据先写os cache,为什么?快,但是万一宕机了怎么办?所以也需要及时的刷入到磁盘,因为各种组件数据一般不会单单存储在内存中的,内存是一个很不稳定的啊,往往是需要序列化到磁盘的,所以对文件磁盘写方式,风格,一般是怎么样的,也是需要了解,掌握的一个玩意

其次BIO、NIO通信,不要以为BIO比较low,BIO在集群内部通信是用的很多的,比如Zookeeper内部通信,比如说HDFS Client DataNode文件上传,管道打通,都是BIO,当然NIO也是一种比较"高端"的通信模型,但是编程相比BIO复杂一些,能支持海量Client的连接,所以一般会用在海量Client和Server的连接,会选择NIO

再次当然也有很多开源项目选择Netty,一个NIO的封装的网络通信框架,也是需要知道的,因为不是所有的代码都是使用BIO,NIO直接实现网络通信,开发成本比较高,所以为了产品或者绕开网络编程的复杂,可能会选择一个工业级的网络通信框架,比如说Netty

再再次就是JVM,因为毕竟很多大数据项目都是Java写的,所以你需要知道JVM 内存模型,垃圾回收算法,比如说ParNew + CMS,G1这些玩意,底层原理和参数调优的一些事情

再再再次,是不是要掌握一个DB,那MySQL肯定是首选了,Innodb存储引擎,BufferPool的设计理念(各种链接数据结构),undolog、redolog、binlog都是怎么玩的,B+树,聚簇索引、二级索引、索引优化,ReadView + undolog的事务机制

最后一个优秀的开源项目,设计模式是提高代码逼格的一种非常重要的表现,看不懂,看开源项目就比较费劲。还有呢,那就是分布式的一些理念,比如说CAP、XA、2PC、3PC,在分布式中怎么保证数据一致性,容错性等等吧,如果以上都比较熟悉的话,看一些不管是大数据还是Java的一些开源项目,问题就不会太大

总结一句话 : 基础不牢,地动山摇(不是我说的,借用别人的观点)

下一篇会唠叨一下看HDFS源码一些心得,技术篇

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/949050.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号