大数据学习-4.Hadoop运行环境搭建(二)

• 一、下载JDK和Hadoop安装包
• 二、安装JDK
• 三、安装Hadoop
• • 1.单机模式搭建
  • 2.分布式模式搭建

下载地址：阿里云——提取码：q6y6

// 测试主机是否有java环境(如果有就卸载旧版本JDK)

将JDK上传到linux系统中(这里使用FinalShell工具上传，详情见大数据学习-2 )
这里新建了一个apk文件，放在这里

// 获取root权限，移动到安装包文件下，解压缩到/usr/local下
tar -zxvf jdk-8u141-linux-x64.tar.gz -C /usr/local

// 移动到/usr/local下，更改JDK目录的名字(可以不改)

// 配置环境变量
// CentOS7
vim /etc/profile.d/my_env.sh

// CentOS6
vim /etc/profile

// 将下列语句写入文件底部
export JAVA_HOME=/usr/local/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

// 使配置文件生效，验证Java环境
source /etc/profile
java -version

// 另外两台虚拟机重复操作

// 将Hadoop上传到linux系统中(这里用的是3.2.1)
// 直接解压
cd /home/kira/apk/
tar -zxvf hadoop-3.2.1.tar.gz

// 查看hadoop目录结构
ls hadoop-3.2.1

// 配置Java环境变量
vim hadoop-3.2.1/etc/hadoop/hadoop-env.sh
// 写Java的安装路径
export JAVA_HOME=/usr/local/jdk1.8

// 查看hadoop自带的jar包
ls hadoop-3.2.1/share/hadoop/mapreduce/

// 查看hadoop的bin命令
ls hadoop-3.2.1/bin/

// 使用bin下的hadoop命令
cd hadoop-3.2.1
bin/hadoop
// 提示hadoop的用法，我们选择jar

// 使用hadoop的jar命令，选择之前share/hadoop/mapreduce目录下的hadoop-mapreduce-examples-3.2.1.jar包
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar
// 提示jar的用法，我们选择wordcount

// 使用wordcount指令
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount
// 提示wordcount的用法(wordcount 输入路径.. 输出路径)

// 创建一个input/1.txt，写入数据

// 使用wordcount(输出路径不能存在，会自动创建)
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount input/ output

// 查看计算结果
cat output/part-r-00000

// 将上传的hadoop压缩包解压到/usr/local下(这里使用2.7.1)
tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/

// 配置环境变量
vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

// 使环境变量生效
source /etc/profile
// 输入hadoop验证是否生效

// 配置hadoop-env.sh
vim etc/hadoop/hadoop-env.sh

// 指定jdk路径	
export JAVA_HOME=/usr/local/jdk1.8

// 配置core-site.xml
vim etc/hadoop/core-site.xml

        
        		
                fs.defaultFS
                hdfs://hadoop102:9000
        

        
        		
                hadoop.tmp.dir
                /usr/local/hadoop-2.7.1/data/tmp
        

        
                io.file.buffer.size
                4096
        

// 新建hadoop数据的存储目录，就是xml里指定的路径

// 配置hdfs-site.xml
vim etc/hadoop/hdfs-site.xml

        
                dfs.replication
                3
        

        
        		
                dfs.namenode.secondary.http-address
                hadoop103:50090
        

// 配置mapred-site.xml(默认没有mapred-site.xml文件，复制官方模板)
cd etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
vim etc/hadoop/mapred-site.xml

        
                mapreduce.framework.name
                yarn                             
        

// 配置yarn-site.xml
vim etc/hadoop/yarn-site.xml

		
				
                yarn.resourcemanager.hostname
                Hadoop102
        
        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        

// 将主机1的hadoop和环境变量配置分发给主机2、3
scp /etc/profile hadoop103:/etc/profile
scp /etc/profile hadoop104:/etc/profile

scp -r /usr/local/hadoop-2.7.1 hadoop103:/usr/local/
scp -r /usr/local/hadoop-2.7.1 hadoop104:/usr/local/

// 使主机2、3上的配置文件生效以及验证
source /etc/profile
hadoop

// 关闭所有主机的防火墙(这里是CentOS6的命令，7有所不同)
// 临时关闭
service iptables stop
// 永久关闭
chkconfig iptables off
// 查看防火墙状态
service iptables status

// 先对名称节点格式化(只有第一次启动需要)
hdfs namenode -format

// 启动集群
start-dfs.sh

// 查看相关进程
jps

// 启动yarn
start-yarn.sh

// 查看相关进程
jps

// 关闭yarn
stop-yarn.sh
// 关闭集群
stop-dfs.sh