- 大数据
- Hadoop框架
- Hadoop介绍
- hadoop的核心组件
- Hadoop 的安装有三种方式
- 伪分布式布置
- 修改配置文件
- 1. 修改hadoop-env.sh
- 2. 修改 core-site.xml
- 3. 修改 hdfs-site.xml
- 4. 修改 mapred-site.xml
- 5. 修改 yarn-site.xml
- 6. 修改slaves
- 7. 配置hadoop的环境变量
- 启动
- 1. 初始化
- 2. 启动
- 3. 测试
- 4. 访问浏览器
- 5. 停止
- 6. 停止服务
- 7. 如果没有安装成功
- 上传文件到hadoop01:50070
- 5.4.2 完全分布式部署
- 进入目录
- 6.修改slaves
- 7.配置hadoop的环境变量
- 8.分发文件到hadoop02、hadoop03服务器
- 9.hadoop02、hadoop03服务器配置hadoop的环境变量
- 6.访问浏览器
定义：hadoop是一个分布式存储的分布式计算的框架
1. 分布式：在每个积点上分布计算
2. 项目开发用于可靠、可扩展、分布式计算的开源软件。
3. 相关网站：https://hadoop.apache.org/#
1. HDFS：分布式存储组件 2. MapReduce： 分布式计算组件（ps：2018年后逐渐过时，计算是在指定环境中计算） 3. Yarn：资源调度管理器（正常使用适合MapReduce一起使用） 详细如下图：Hadoop 的安装有三种方式
- 单机模式：直接解压，只支持MapReduce的测试，不支持HDFS，一般不用。
- 伪分布式模式：单机通过多进程模拟集群方式安装，支持Hadoop所有功能。
1. 优点：功能完整。
2. 缺点：性能低下。学习测试用。 - 完全分布式模式：集群方式安装，生产级别。
1. HA：高可用。
- 需要环境：
1. JDK，JAVA_HOME，配置hosts，关闭防火墙，配置免密登录等。 注意：只将其安装在hadoop01节点上。 虚拟机布置如下图：
位置：/opt/servers/hadoop-2.7.7/etc/hadoop
1. 修改hadoop-env.shvim /opt/servers/hadoop-2.7.7/etc/hadoop/hadoop-env.sh
修改
export JAVA_HOME=/opt/servers/jdk1.8.0_65 export HADOOP_CONF_DIR=/opt/servers/hadoop-2.7.7/etc/hadoop2. 修改 core-site.xml
vim /opt/servers/hadoop-2.7.7/etc/hadoop/core-site.xml
增加namenode配置、文件存储位置配置：粘贴代码部分到标签内
3. 修改 hdfs-site.xmlfs.default.name #ps：fs.defaultFS.name 是新版本hdfs://hadoop01:8020 hadoop.tmp.dir /opt/servers/hadoop-2.7.7/tmp
vim /opt/servers/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
- 配置包括自身在内的备份副本数量到标签内
4. 修改 mapred-site.xmldfs.replication # ps：容错节点，存了多少份，取决于1 1 dfs.permissions false
说明：在/opt/servers/hadoop-2.7.7/etc/hadoop的目录下，只有一个mapred-site.xml.template文件，复制一个。
cp mapred-site.xml.template mapred-site.xml
vim /opt/servers/hadoop-2.7.7/etc/hadoop/mapred-site.xml
配置mapreduce运行在yarn上：粘贴高亮部分到标签内
5. 修改 yarn-site.xmlmapreduce.framework.name yarn
vim /opt/servers/hadoop-2.7.7/etc/hadoop/yarn-site.xml
- 配置：粘贴高亮部分到标签内
6. 修改slavesyarn.resourcemanager.hostname hadoop01 yarn.nodemanager.aux-services mapreduce_shuffle
vim /opt/servers/hadoop-2.7.7/etc/hadoop/slaves
修改
hadoop017. 配置hadoop的环境变量
vim /etc/profile
export HADOOP_HOME=/opt/servers/hadoop-2.7.7 export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
配置完成之后生效
source /etc/profile
环境变量配置完成，测试环境变量是否生效
echo $HADOOP_HOME启动 1. 初始化
hdfs namenode -format2. 启动
start-all.sh3. 测试
jps
运行结果成功图如下：
windows的浏览器中访问hadoop01:50070
安装成功！
5. 停止stop-all.sh6. 停止服务
stop-all.sh7. 如果没有安装成功
如果没有成功（进程数不够）
1.stop-all.sh 停掉hadoop所有进程
2.删掉hadoop2.7.7下的tmp文件
3.hdfs namenode -format 重新初始化（出现successfully证明成功），如果配置文件报错，安装报错信息修改相应位置后重新执行第二步。
4.start-all.sh 启动hadoop
上传文件到hadoop01:500701.创建a.txt文件
touch a.txt
2.上传文件a.txt
hadoop fs -put a.txt /5.4.2 完全分布式部署
安装环境服务部署规划
| 服务器IP | 192.168.65.101 | 192.168.65.102 | 192.168.65.103 |
|---|---|---|---|
| NameNode | |||
| HDFS | Secondary NameNode | ||
| DataNode | DataNode | DataNode | |
| YARN | ResourceManager | ||
| NodeManager | NodeManager | NodeManager | |
| MapReduce | JobHistoryServer |
先在第一台机器hadoop01进行部署
注意：如果已安装伪分布模式，先删除格式化后生成的数据文件，其他请略过。
rm -rf /opt/servers/hadoop-2.7.7/tmp进入目录
cd /opt/servers6.修改slaves
vim /opt/servers/hadoop-2.7.7/etc/hadoop/slaves
修改
hadoop01 hadoop02 hadoop037.配置hadoop的环境变量
vim /etc/profile
export HADOOP_HOME=/opt/servers/hadoop-2.7.7 export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
配置完成之后生效
source /etc/profile
环境变量配置完成，测试环境变量是否生效
echo $HADOOP_HOME8.分发文件到hadoop02、hadoop03服务器
cd /opt/servers/ scp -r hadoop-2.7.7/ hadoop02:$PWD scp -r hadoop-2.7.7/ hadoop03:$PWD9.hadoop02、hadoop03服务器配置hadoop的环境变量
vim /etc/profile
export HADOOP_HOME=/opt/servers/hadoop-2.7.7 export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
配置完成之后生效
source /etc/profile
环境变量配置完成，测试环境变量是否生效
echo $HADOOP_HOME6.访问浏览器
ps：以此01节点初始化，01、02、03启动，jps测试后执行一下
windows的浏览器中访问
hdfs集群访问地址
http://hadoop01:50070/
yarn集群访问地址
http://hadoop01:8088/
安装成功！
