hadoop环境搭建（上）

一：软件下载及安装
我使用的是vmware workstation 16 、ubuntu server
安装注意：
修改虚拟机路径
​ 修改镜像地址：http://mirrors.aliyun.com/ubuntu/
​ 安装openSSH软件
​ 输入reboot重启就OK
安装好ubuntu server虚拟机后，不用动。右键虚拟机，在管理中选择克隆
有两种克隆方式，这里选择链接克隆
1、链接克隆
​ 优点：节省空间
​ 缺点：链接的系统不存在，则该系统不可使用
2、完全克隆
​ 优点：不管原系统是否存在，该系统都不受影响
​ 缺点：占空间​
因为hadoop集群最少需要3个节点，所以我们克隆出两台。
注意修改网卡地址

由于虚拟机IP地址会改变，我们第一步首先固定ip，方便使用xshell连接完成后面的步骤
固定ip的方法在https://blog.csdn.net/qq_38505969/article/details/110501609

#查看服务器的IP地址
$ ifconfig
#然后使用xshell连接服务器
#首先设置用户权限
$ sudo chmod u+w /etc/sudoers
$ sudo vim /etc/sudoers
#hadoop为用户名，添加下面的代码
#添加完成记得保存，再改回权限
$ sudo chmod u-w /etc/sudoers

#创建文件夹
$ cd /opt
$ sudo mkdir modules  # 软件安装路径 
$ sudo mkdir softwares  # 软件上传、下载的路径
#设置目录权限
$ cd ~
$ ll
$ groups 当前用户名(hadoop)
$ id 当前用户名(hadoop)
$ sudo chown -R 用户:用户组 /opt/modules /opt/softwares

创建好后就可以使用xftp传输压缩包到softwas文件夹
这里使用的是jdk8 和hadoop3.2（注意jdk要和hadoop的版本兼容）

#下载pdsh和ssh
$ sudo apt-get install pdsh
$ sudo apt-get install ssh

#解压并改名
$ tar -zxf jdk-8u202-linux-x64.tar.gz -C /opt/modules
$ cd /opt/modules
$ mv jdk1.8.0_202/ jdk
$ ll

$ tar -zxf hadoop-3.2.2.tar.gz -C /opt/modules
$ cd /opt/modules
$ mv hadoop-3.2.2 hadoop
$ ll

#配置环境变量
#重要！！！
$ sudo vim /etc/profile
#在文件最后添加（注意路径）
	export JAVA_HOME=/opt/modules/jdk
	export CLASSPATH=.:$JAVA_HOME/lib
	export HADOOP_HOME=/opt/modules/hadoop
	export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#使配置生效
$ source /etc/profile
#查看是否配置好
$ java -version
$ bin/hadoop version
#出现了jdk和hadoop那恭喜你，完成本地环境的搭建