（三）Java日志大数据（单机环境）学习笔记——Hadoop安装与配置

Hadoop介绍

一、安装Hadoop五、学习路线

Hadoop介绍

大家好，我是认真。本章我会记录hadoop分布式系统的搭建、配置和Java Api远程调用hadoop，hadoop对大数据搭建极为重要，因为它属于大数据架构的底层存储，其他的大数据软件的服务和运行将会建立在hadoop之上，下面先简单介绍下hadoop。
hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。hadoop实现了一个分布式文件系统，其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，可以以流的形式访问文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

一、安装Hadoop

hadoop下载地址：hadoop-3.2.2.tar.gz，提取码：net0

1. 将hadoop-3.2.2.tar.gz移动到 /usr/local 目录下

cd /usr/local

2. 解压hadoop-3.2.2.tar.gz

tar -zxvf /usr/local/hadoop-3.2.2.tar.gz

3. 对解压后的文件夹重命名

mv /usr/local/hadoop-3.2.2 /usr/local/hadoop

4. 修改core-site.xml配置文件

cd /usr/local/hadoop/etc/hadoop/core-site.xml


	
	
		fs.defaultFS
		hdfs://localhost:9000
	
	
	
		hadoop.tmp.dir
		/data/hadoop_temp
	
	
 	
		io.compression.codecs
		org.apache.hadoop.io.compress.GzipCodec

5. 修改hdfs-site.xml配置文件

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml


	
	
		dfs.http.address
		0.0.0.0:50070
	
	
	
		dfs.replication
		2
	
	
	
		dfs.datanode.max.transfer.threads
		8192

6. 修改mapred-site.xml配置文件

vi /usr/local/hadoop/etc/hadoop/mapred-site.xml


	
	
		mapreduce.framework.name
		yarn
	
	
	
		mapreduce.application.classpath
		/usr/local/hadoop/share/hadoop/mapreduce/*:/usr/local/hadoop/share/hadoop/mapreduce/lib/*
	
	
	
    	mapreduce.map.output.compress
    	true
	
	
	
    	mapreduce.map.output.compress.codec
    	org.apache.hadoop.io.compress.GzipCodec
	
	
	
    	mapreduce.output.fileoutputformat.compress
    	true
	
	
	
		mapreduce.output.fileoutputformat.compress.codec
		org.apache.hadoop.io.compress.GzipCodec
	
	
	
		mapreduce.map.memory.mb
		4096
	
	
	
		mapreduce.reduce.memory.mb
		4096
	
	
	
		mapreduce.map.java.opts
		-Xmx5120m
	
	
	
		mapreduce.reduce.java.opts
		-Xmx5120m
	
	
		mapred.child.java.opts
		-Xmx5120m

7. 修改yarn-site.xml配置文件

vi /usr/local/hadoop/etc/hadoop/yarn-site.xml


	
		yarn.nodemanager.aux-services
		mapreduce_shuffle
	
	
	
		yarn.nodemanager.env-whitelist
		JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
	
	
	
		yarn.application.classpath
		/usr/local/hadoop/etc/hadoop:/usr/local/hadoop/share/hadoop/common/lib/*:/usr/local/hadoop/share/hadoop/common/*:/usr/local/hadoop/share/hadoop/hdfs:/usr/local/hadoop/share/hadoop/hdfs/lib/*:/usr/local/hadoop/share/hadoop/hdfs/*:/usr/local/hadoop/share/hadoop/mapreduce/lib/*:/usr/local/hadoop/share/hadoop/mapreduce/*:/usr/local/hadoop/share/hadoop/yarn:/usr/local/hadoop/share/hadoop/yarn/lib/*:/usr/local/hadoop/share/hadoop/yarn/*
	
	
	
    	yarn.nodemanager.vmem-check-enabled
    	false
	
	
	
    	yarn.scheduler.minimum-allocation-vcores
    	4
	
	
	
    	yarn.scheduler.maximum-allocation-vcores
    	8
	
	
	
    	yarn.scheduler.minimum-allocation-mb
    	4096
	
	
	
    	yarn.scheduler.maximum-allocation-mb
    	8192

8. 修改/etc/profile配置文件

vi /etc/profile

-- 在/etc/profile添加以下内容
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

source /etc/profile

9. 修改hadoop-env.sh配置文件

-- 找到sh中的JAVA_HOME位置，修改为以下配置
JAVA_HOME=/usr/local/jdk1.8

10. 进入到bin目录下

cd /usr/local/hadoop/bin

11. 配置 SSH 免密

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

12. 格式化 HDFS 文件系统

./hdfs namenode -format

13. 开启hadoop

cd /usr/local/hadoop/sbin
./start-all.sh

14. 检测hadoop是否运作

jps

15. 查看All Application运行状态

访问服务器的8088端口即可访问hadoop的web管理端，查看mr运行状态

15. 查看hdfs文件系统运行状态
访问服务器的50070端口即可访问hadoop的hdfs系统存储，点击"Utilities "下的"Browse the file system"查看文件存储

五、学习路线

（一）Java日志大数据（单机环境）学习笔记——开篇

（二）Java日志大数据（单机环境）学习笔记——基础环境搭建

（三）Java日志大数据（单机环境）学习笔记——Hadoop安装与配置

持续更新…

（三）Java日志大数据（单机环境）学习笔记——Hadoop安装与配置

大数据系统相关栏目本月热门文章