1、NameNode(单一节点),负责文件元数据的操作,DataNode负责处理文件内容的读写请求。跟文件内容相关的数据流不经过NameNode,只会询问它跟哪个DataNode联系
案例:公司的集群新增20台空间大、内存大的机器,如果让要存入的数据,存入这20台新的机器中?
bin/hdfs balancer 运行一个集群的均衡策略,可以调它来实现
2、NameNode和DataNode的联系方式
- 心跳
- 定期发送块的报告
1、开发环境准备
* 安装maven
配置环境变量MAVEN_HOME
导入maven本地仓库
创建默认仓库 mkdir -p ~/.m2/repository
重命名 mv repository/ backup-repo
解压本地仓库到默认目录
cp /opt/modules/apache-maven-3.0.5/conf/settings.xml .
* 安装Eclipse
解压到tools目录即可
2、使用虚拟机打开eclipse
默认工作空间设置在 /opt/tools/workspace
3、配置eclipse
* 配置keys 自动提示 Content Ass… Alt+/
Word Completion. 随便(原来的Alt+/)
* 配置maven,使用我们自己配置的maven
===========================================================
1、配置yarn-site.xml
配置内存和cpu核数
yarn.nodemanager.resource.memory-mb 4096 yarn.nodemanager.resource.cpu-vcores 4
文件的压缩 mapred.default.xml
mapreduce.map.output.compress false
mapreduce.map.output.compress.codec
org.apache.hadoop.io.compress.DefaultCodec
设置reduce个数
mapreduce.job.reduces 1(默认是1) 个数根据测试和评估



