栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

linux静态IP, 和hadoop分布式集群搭建

linux静态IP, 和hadoop分布式集群搭建

目录

先操作切换到root下面

关闭防火墙

**关闭防火墙

修改静态ip

1.修改ens33文件

1.3修改成static

重启网络的命令

修改主机名字

创建普通用户

如果你已经有了,就不用创建了

 配置网络地址与主机名的对应关系

1.进入到 /etc/hosts

java的安装和测试

 安装hadoop

上传hadoop包​

解压hadoop包

本地安装后的测试,这里利用单词计数


先操作切换到root下面

关闭防火墙
1 **查看防火墙状态**
1 systemctl status firewalld

**关闭防火墙
systemctl stop firewalld

**开机禁用防火墙

 systemctl disable firewalld
 

windows下的防火墙也要关闭

修改静态ip

1.修改ens33文件

1.1打开文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

1.2添加以下内容

IPADDR=192.168.1.101
NETMASK=255.255.255.0
GATEWAY=192.168.1.2
DNS1=114.114.114.114
DNS2=8.8.8.8

1.3修改成static
BOOTPROTO="static"

(2)修改linux下网络配置

虚拟网络配置器

 

(3)修改windows下面的网络信息

 每台虚拟机都要修改静态ip,别忘了修改网络

重启网络的命令
service network restart

修改主机名字
hostnamectl set-hostname master

以上操作完成别忘了重启虚拟机

创建普通用户

如果你已经有了,就不用创建了
1 |  useradd hadoop

修改普通用户密码

passwd hadoop

 

 给普通用户权限

1 进入root下面

su root

2 进入 etc/sudoers 下面

 vim /etc/sudoers

3 在下面添加一行内容

注意 : 要是有了 root ALL=(ALL)就不用添加,只添加第二行的就好了

root ALL=(ALL) ALL
hadoop ALL=(ALL) ALL

 

 配置网络地址与主机名的对应关系

1.进入到 /etc/hosts
vim /etc/hosts

2.在最后,添加以下内容

IP地址1 主机名1
IP地址2 主机名2
IP地址3 主机名
如:

java的安装和测试

1.创建文件夹java

2.利用xftp把tar包上传到/data/java下面

 

 3.把压缩包解压到 /usr/local/lib下面3.把压缩包解压到 /usr/local/lib下面

sudo tar -zxvf ./jdk-8u212-linux-x64.tar.gz -C /usr/local/lib

 如何查看已经解压成功

 

 4.编辑环境变量

	cd ~
打开~/.bashrc文件
	vim ~/.bashrc
在文件里面添加
export JAVA_HOME=/usr/local/lib/jdk1.8.0_212
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

5.生效配置的环境变量文件

source ~/.bashrc

6.Java环境测试

java -version

 安装hadoop

进入apache官网,查看hadoop的版本,下载tar包(这里使用的是2.7.2版本)
也可以进上传hadoop包入国内开源镜像网站下载tar包

上传hadoop包

 

解压hadoop包

1.解压hadoop包到 /usr/local里面

sudo tar -zxf hadoop-2.7.7.tar.gz -C /usr/local

 2.进入到 /usr/local里面,修改名字为hadoop

cd /usr/local/
sudo mv ./hadoop-2.7.7/ ./hadoop  

 3.授权当前用户hadoop拥有该文件夹的所有者权限。

sudo chown -R hadoop:hadoop ./hadoop

本地安装后的测试,这里利用单词计数

1.创建文本wc.txt

touch wc.txt 

2.编辑文本

vim wc.txt 

内容如下

hadoop
java is good
hadoop
hadoop
hadoop
java
hadoop
hello wold

3.执行单词计数的命令

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount  /usr/local/hadoop/wc.txt wcout

 

 4.查看是否生成文件

 5.查看单词的个数

 测试完成后,查看以下链接配置伪分布式

https://blog.csdn.net/m0_61380328/article/details/123400500

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758286.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号