栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop源码解析

hadoop源码解析

HDFS:Hadoop的分布式文件存储系统。

MapReduce:Hadoop的分布式程序运算框架,也可以叫做一种编程模型。

Hive:基于Hadoop的类SQL数据仓库工具

Hbase:基于Hadoop的列式分布式NoSQL数据库

ZooKeeper:分布式协调服务组件

Mahout:基于MapReduce/Flink/Spark等分布式运算框架的机器学习算法库

Oozie/Azkaban:工作流调度引擎

Sqoop:数据迁入迁出工具

Flume:日志采集工具

flink 对标spark

netstat -ltp 查询

jps 查询pid  

对照找到端口 

相关服务接口地址

nodemanager  hadoop101:8042

mapreduce 框架源码   

4个节点 3个节点 2个任务

shuffle  排序

1.切片和maptask并行度决定机制

数据库 block 128M 

数据切片是逻辑切片

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/618454.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号