Hadoop的介绍和安装

hadoop是一个分布式系统基础架构

Hadoop的优势

1.高可靠性

2.高扩展性

3.高效性

4.高容错性

Hadoop的架构

1.MapReduce 用于计算，是一个分布式计算框架

2.Yarn 资源调度的平台

3.HDFS 用于数据存储是一个分布式存储架

第一台虚拟机

配置网络

修改主机名

关闭防火墙

配置映射

安装jdk(删除自带jdk)

克隆两台

修改主机名

修改网络

SSH免密

修改启动级别之后重启

systemctl set-default multi-user.target

安装hadoop

上传hadoop-2.7.6.tar.gz 到module

解压:tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/

注意:必须在解压在/usr/local/soft/

配置环境变量:

export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6

PATH中新加$HADOOP_HOME/bin:$HADOOP_HOME/sbin

1.修改slaves 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/slaves

删除原有内容

新加从节点主机名

node1

node2

2.修改hadoop-env.sh 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/hadoop-env.sh

删除export JAVA_HOME=${JAVA_HOME}

新加export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

3.修改core-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/core-site.xml

在core-site.xml标签configuration中复制一下内容

fs.defaultFS

hdfs://master:9000

hadoop.tmp.dir

/usr/local/soft/hadoop-2.7.6/tmp

fs.trash.interval

1440

4.修改hdfs-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/hdfs-site.xml

dfs.replication

dfs.permissions

false

5.修改yarn-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/yarn-site.xml

yarn.resourcemanager.hostname

master

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.log-aggregation-enable

true

yarn.log-aggregation.retain-seconds

604800

yarn.nodemanager.resource.memory-mb

20480

yarn.scheduler.minimum-allocation-mb

2048

yarn.nodemanager.vmem-pmem-ratio

2.1

6.修改mapred-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml

cp /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml.template /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

master:10020

mapreduce.jobhistory.webapp.address

master:19888

7.hadoop分发到node1和node2

scp -r /usr/local/soft/hadoop-2.7.6 node1:/usr/local/soft

8.启动hadoop

在master格式化

hdfs namenode -format

start-all.sh

google浏览器输入master:50070

Hadoop的介绍和安装

大数据系统相关栏目本月热门文章