啃了这篇文章，别说你还搭不好hadoop

文章目录

• 前言
• 一、Hadoop是什么
• 二、搭建Hadoop环境
• • 1.JDK安装
  • 2.搭建HDFS伪分布群
  • • 2.1 配置环境变量hadoop
    • 2.2 配置环境变量hadoop-env.sh
    • 2.3配置核心组件core-site.xml
    • 2.4 配置文件系统hdfs-site.xml
  • 3.搭建YARN伪分布集群
  • • 3.1配置计算框架 mapred-site.xml
    • 3.2配置环境变量 yarn-env.sh
    • 3.3配置环境变量 yarn-site.xml
  • 4.同步到SLAVE1，SLAVE2
  • 5.再在SLAVE1,SLAVE2上面解压java并添加环境变量
• 总结

---

前言

“ 大 数 据 " 定 义
（1）最 早 提 出 “ 大 数 据 " 这 一 概 念 的 全 球 知 名 咨 询 公 司 麦 肯 锡 （ 詹 姆 斯 ． 麦 肯 锡 ， 美 国 芝 加 哥 大 学 商 学 院 教 授 、 麦 肯 锡 公 司 创 始 人 。 ） 的 定 义 ： “ 大 数 据 " 是 指 在 一 定 时 间 内 无 法 用 传 统 数 据 库 软 件 工 具 采 集 、 存 储 、 管 理 和 分 析 其 内 容 的 数 据 集 合 。
（2） 研 究 机 构 Gartner 是 这 样 定 义 “ 大 数 据 " 的 ： “ 大 数 据 " 是 需 要 新 处 理 模 式 才 能 具 有 更 强 的 决 策 力 、 洞 察 发 现 力 和 流 程 优 化 能 力 的 海 量 、 高 增 长 率 和 多 样 化 的 信 息 资 产 。

一、Hadoop是什么

二、搭建Hadoop环境 1.JDK安装

代码如下（示例）

配置环境变量

vim /etc/profile

在/etc/profile最后加入这一段

export JAVA_HOME=/root/software/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin

使用source /etc/profile 使环境变量立即生效

在输入java查看是否安装成功
（这里可以设置ssh免密登录，但是此处不展示，可以私信我）

2.搭建HDFS伪分布群 2.1 配置环境变量hadoop

先解压hadoop压缩包到/usr/hadoop目录下
Vim /etc/profile

export HADOOP_HOME=usr/hadoop/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

Source /etc/profile

切换到该目录下
cd hadoop-2.7.7/etc/hadoop
ls一下可以显示所有的配置文件

2.2 配置环境变量hadoop-env.sh

修改该文件中的JAVA_HOME的值
export JAVA_HOME=/usr/java/jdk位置

2.3配置核心组件core-site.xml

fs.default.name

hdfs://master:9000



hadoop.tmp.dir
/usr/hadoop/hadoop-2.7.7/hdfs/tmp    # 补充代码

 


io.file.buffer.size
131072    # 补充代码

 

fs.checkpoint.period
60    # 补充代码

 

fs.checkpoint.size
67108864    # 补充代码

2.4 配置文件系统hdfs-site.xml

dfs.namenode.name.dir
/root/hadoopData/name



dfs.datanode.data.dir
/root/hadoopData/name



dfs.replication
2


            

dfs.permissions
false

                    

 dfs.datanode.use.datanode.hostname
true

放在文件中即可

3.搭建YARN伪分布集群 3.1配置计算框架 mapred-site.xml

1. mv mapred-site.xml.template mapred-site.xml
   修改hadoop2.7.7中etc/hadoop目录下mapred-site.xml文件 ，在标签中添加以下配置：

 
       mapreduce.framework.name
 
       yarn
 

3.2配置环境变量 yarn-env.sh

加入 export JAVA_HOME=/usr/java/jdk名称

3.3配置环境变量 yarn-site.xml

yarn.resourcemanager.address
master:18040

 
 

yarn.resourcemanager.scheduler.address
master:18030

 

yarn.resourcemanager.webapp.address
master:18088

 

yarn.resourcemanager.resource-tracker.address
master:18025

 
 

yarn.resourcemanager.admin.address
master:18141

 
 

yarn.nodemanager.aux-services
mapreduce_shuffle

 

yarn.nodemanager.auxservices.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

4.同步到SLAVE1，SLAVE2

1.先该文件夹中
Vim master 里面输入 master
Vim slaves 里面输入
Slave1
Slave2
2.Scp -r /usr/hadoop root@slave1:/usr/
Scp -r /usr/hadoop root@slave2:/usr/
进行同步

5.再在SLAVE1,SLAVE2上面解压java并添加环境变量

export JAVA_HOME=/root/software/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

之后在master上格式化

hadoop namenode -format

star-all.sh 启动所有集群
在输入jps即可检测是否运行成功

总结

例如：以上就是今天要讲的内容，本文简单介绍了hadoop集群的搭建。