栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop

hadoop

  海量数据,具有高增长率,数据类型多样化,一定时间内无法使用常规软件工具进行捕捉、管理和处理的数据集合

大数据的4V特征:巨大的数据量,数据类型多样化,数据增长速度快,价值密度低(经过处理,解析等得到商业价值比较高的数据),商业价值高 

 记录已经发生的一切,描述正在发生的一切,预测将要发生的一切

 

 

 

 nameNode有且仅有一个,是用来维护集群的目录数结构及对外提供服务的

dataNode是用来存储数据的

 

 

 

 

 

 

 

 

 3.5.1 启动集群

 

3)jps查看进程 

 

 

 

 合并下载:就是把多个文件中的数据合并下载到一个文件中,下图中file文件中的数据是file1,file2,file3三个文件中的全部内容

 移动文件和重命名文件

 

 

 

 改之前

 改之后

 

 

 

HDFS不适合存储小文件 

 

 

 

 

 

 

 

 

 

 

 

 

MapReduce1.x已经过时了 

 

 重点关注yarn

 

 

 

 

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/698547.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号