文章目录
前言一、Hadoop简介二、Hadoop集群模式安装总结
前言
弹性 MapReduce 结合云技术和 Hadoop、Hive、Spark、Storm 等社区开源技术，是一个安全可靠、可弹性伸缩的云端 Hadoop 服务。运用弹性MapReduce，需要先从Hadoop开始。
狭义上Hadoop用java语言实现的开源软件，允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理
1、Hadoop核心组件
Hadoop HDFS（分布式文件存储系统）：解决海量数据存储
Hadoop YARN（集群资源管理和任务调度框架）：解决资源任务调度
Hadoop MapReduce（分布式计算框架）：解决海量数据计
2、Hadoop现状
（1）HDFS作为分布式文件存储系统，处在生态圈的底层与核心地位；
（2）YARN作为分布式通用的集群资源管理系统和任务调度平台，支撑各种计算引擎运行，保证了Hadoop地位；
（3）MapReduce作为大数据生态圈第一代分布式计算引擎，由于自身设计的模型所产生的弊端，导致企业一线几乎不再直接使用MapReduce进行编程处理，但是很多软件的底层依然在使用MapReduce引擎来处理数据。
3、Hadoop集群简介
逻辑上分离：两个集群互相之间没有依赖、互不影响
物理上在一起：某些角色进程往往部署在同一台物理服务器上
1、集群角色规划
（1）角色规划的准则
根据软件工作特性和服务器硬件资源情况合理分配
（2）角色规划注意事项
资源上有抢夺冲突的，尽量不要部署在一起工作上需要互相配合的。尽量部署在一起
2、服务器基础环境准备（3台服务器）
设置主机名、修改hosts映射、关闭防火墙、配置ssh免密登录、配置时间同步服务、
3、安装Hadoop服务
创建统一工作目录并安装java环境，并上传Hadoop安装包解压后，修改配置文件。
（1）vim hadoop-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_241 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root
（2）vim core-site.xml
fs.defaultFS hdfs://node1:8020 hadoop.tmp.dir /export/data/hadoop-3.3.0 hadoop.http.staticuser.user root hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups * fs.trash.interval 1440
（3）vim hdfs-site.xml
dfs.namenode.secondary.http-address node2:9868
（4）vim mapred-site.xml
mapreduce.framework.name yarn mapreduce.jobhistory.address node1:10020 mapreduce.jobhistory.webapp.address node1:19888 yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.map.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.reduce.env HADOOP_MAPRED_HOME=${HADOOP_HOME}
（5）vim yarn-site.xml
yarn.resourcemanager.hostname node1 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.pmem-check-enabled false yarn.nodemanager.vmem-check-enabled false yarn.log-aggregation-enable true yarn.log.server.url http://node1:19888/jobhistory/logs yarn.log-aggregation.retain-seconds 604800
（6）vim workers
node1.itcast.cn node2.itcast.cn node3.itcast.cn
（7）在node1机器上将Hadoop安装包scp同步到其他机器
scp -r hadoop-3.3.0 root@node2:$PWD scp -r hadoop-3.3.0 root@node3:$PWD
（8）配置Hadoop环境变量，在node1上配置
vim /etc/profile
export HADOOP_HOME=/export/server/hadoop-3.3.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
将修改后的环境变量同步其他至其他机器
scp /etc/profile root@node2:/etc/ scp /etc/profile root@node3:/etc/
重新加载环境变量 验证是否生效（3台机器）
source /etc/profile
验证环境变量是否生效
总结
简单的Hadoop集群已搭建完成！
