Hadoop的分支hdfs的集群搭建

Hadoop的分支hdfs的搭建

首先是三台服务器之间的免密追加自己的免密安装JDK安装hdfs集群

下载安装包原理图

修改配置文件

hadoop-env.shcore-site.xml的修改hdfs-site.xml的修改修改start-dfs.sh,stop-dfs.sh

首先是三台服务器之间的免密

我写的免密操作
链接

追加自己的免密

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

安装JDK

上传jdk压缩包
然后在linux中将jdk压缩包解压到/root/apps 下
配置环境变量：JAVA_HOME PATH

vim /etc/profile

export JAVA_HOME=/root/apps/jdk1.8.0_60
export PATH=$PATH:$JAVA_HOME/bin

安装hdfs集群下载安装包

链接

原理图

一台主机，其他都是数据机器

修改配置文件 hadoop-env.sh

设置定点的jdk，然后你也可以不设置，直接用环境变量的jdk，但是如果jdk有多个的时候你就想用某个jdk就可以在这里定义

cd /usr/local/hadoop-3.3.2/etc/hadoop

vim hadoop-env.sh

加上

export JAVA_HOME=/opt/jdk1.8.0_181/

需要修改两个文件core-site.xml,hdfs-site.xml
文件所在文件夹

core-site.xml的修改

cd /usr/local/hadoop-3.3.2/etc/hadoop


	
	fs.defaultFS
	hdfs://192.168.1.121:9000

另外，如果需要去再安装hive的话记得加上下面这段：不然无法访问

    
        
 hadoop.proxyuser.root.groups
 *
    
    
        
        hadoop.proxyuser.root.hosts
        *

然后分发出去:另外两台关联机器

scp /usr/local/hadoop-3.3.2/etc/hadoop/core-site.xml 192.168.1.88:/usr/local/hadoop-3.3.2/etc/hadoop/

scp /usr/local/hadoop-3.3.2/etc/hadoop/core-site.xml 192.168.1.92:/usr/local/hadoop-3.3.2/etc/hadoop/

hdfs-site.xml的修改



dfs.namenode.name.dir
/root/hdpdata/name/



dfs.datanode.data.dir
/root/hdpdata/data



 
        dfs.replication
        3

然后分发出去:另外两台关联机器

scp /usr/local/hadoop-3.3.2/etc/hadoop/hdfs-site.xml 192.168.1.88:/usr/local/hadoop-3.3.2/etc/hadoop/

scp /usr/local/hadoop-3.3.2/etc/hadoop/hdfs-site.xml 192.168.1.92:/usr/local/hadoop-3.3.2/etc/hadoop/

修改start-dfs.sh,stop-dfs.sh

为什么要修改呢：因为默认值的这些参数和你本机不对，所以需要加这个，
按理说应该在/usr/local/hadoop-3.3.2/etc/hadoop里面的某个XXX-env.sh里面去定义的，但是实在太多我也不知道写在哪个里面了。

[root@node121 sbin]# vim start-dfs.sh

[root@node121 sbin]# vim stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root