栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

03Hadoop深入

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

03Hadoop深入

1、NameNode(单一节点),负责文件元数据的操作,DataNode负责处理文件内容的读写请求。跟文件内容相关的数据流不经过NameNode,只会询问它跟哪个DataNode联系
案例:公司的集群新增20台空间大、内存大的机器,如果让要存入的数据,存入这20台新的机器中?
bin/hdfs balancer 运行一个集群的均衡策略,可以调它来实现
2、NameNode和DataNode的联系方式

  • 心跳
  • 定期发送块的报告

1、开发环境准备
* 安装maven
配置环境变量MAVEN_HOME
导入maven本地仓库
创建默认仓库 mkdir -p ~/.m2/repository
重命名 mv repository/ backup-repo
解压本地仓库到默认目录
cp /opt/modules/apache-maven-3.0.5/conf/settings.xml .
* 安装Eclipse
解压到tools目录即可
2、使用虚拟机打开eclipse
默认工作空间设置在 /opt/tools/workspace
3、配置eclipse
* 配置keys 自动提示 Content Ass… Alt+/
Word Completion. 随便(原来的Alt+/)
* 配置maven,使用我们自己配置的maven

===========================================================
1、配置yarn-site.xml
配置内存和cpu核数


    yarn.nodemanager.resource.memory-mb
    4096



    yarn.nodemanager.resource.cpu-vcores
    4

文件的压缩 mapred.default.xml

mapreduce.map.output.compress	false

mapreduce.map.output.compress.codec			
org.apache.hadoop.io.compress.DefaultCodec
    
设置reduce个数
mapreduce.job.reduces	1(默认是1)  个数根据测试和评估
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/981196.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号