大数据集群搭建全部过程（Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase)《每日更新》

大数据集群搭建进度及问题总结 所有资料在评论区那里可以得到

第一章： 1.网关配置（参照文档）

注意事项：第一台虚拟机改了，改为centos 101 ，地址为192.168.181.130 网关依然是192.168.181.2,但是一定要注意，它在D盘的文件名称是Hadoop 101,后面重新搭建的会命名文件夹为hadoop 101,hadoop 102和hadoop 103,然后发到一个总的文件夹hadoop_03里面去

VMnet8的IP地址一定是自己的，自动获取的，不能和张部长的192.168.110.1一样，要自己的才可以，不然后续网络是ping不通的，ping www.baidu.com会报错。网关是通过ip地址来配置的，网关和计算机网络学的一样，地址的网络好一定一定要和主机的一样，就是如果是C类的，那么前面三项一定是一样的，最后一个不一样。

==注意：==配置时，1.首先线自动获取IP地址，此时是没有网关的，然后通过cmd 查看ipconfig中的VMnet8的地址，然后确定地址后，也就确定网关了，在把网关填到VMnet8中（使用下面的IP地址），然后把DNS域名服务器也写上，谷歌的默认是8.8.8.8，然后就可以去cmd再次查看。另外配置的虚拟机地址也是要前三项一样。

下面这个修改前是小写后面就要改成小写，要保持一致

对应克隆后的虚拟机，要注意改下面这些内容

1.vim /etc/udev/rules.d/70-persistent-net.rules
2.vim /etc/sysconfig/network-scripts/ifcfg-eth0
3.vim /etc/sysconfig/network
4.vim /etc/hosts
5.reboot
6.进入C:WindowsSystem32driversetc路径，打开hosts文件并添加如下内容：
  192.168.110.102  hadoop102

2.securecrt

3.对于报错

对于报错的信息，首先第一个要想到的是能不能ping www.baidu.com，不能ping的通就是网络没有设置好，要一个一个检测，最应该看的就是前面第一个提到的网络的IP地址是不是直接获取的，还是别人的。

4.hosts文件编辑不了

问题：hosts文件编辑不了，显示权限不够

解决办法：

修改权限：1.window+x 选择管理员模式，然后进入到对应的文件目录，然后输入attrib -r hosts 去掉只读模式，然后在notepad + hosts(文件名)打开编辑。

windows的hosts目录：C:WindowsSystem32driversetc

5.centos6 yum 失效 问题：

直接输入yum makecache会报错： yum makecache

CentOS 6已经随着2020年11月的结束进入了EOL（Reaches End of Life），不过有一些老设备依然需要支持，CentOS官方也给这些还不想把CentOS6扔进垃圾堆的用户保留了最后一个版本的镜像，只是这个镜像不会再有更新了官方便在12月2日正式将CentOS 6相关的软件源移出了官方源，随之而来逐级镜像也会陆续将其删除。

不过有一些老设备依然需要维持在当前系统，CentOS官方也给这些还不想把CentOS6扔进垃圾堆的用户保留了各个版本软件源的镜像，只是这个软件源不会再有更新了。换成大白话就是：Centos 6已经不被官方支持，所以想要使用就要用其他代理比如阿里云Vault镜像。

张部长解决方案:

五行命令，五步 ，一步步复制到CRT操作即可。不嫌麻烦直接在虚拟机里面命令行手敲也可以，一定要打对！

sed -i “s|enabled=1|enabled=0|g” /etc/yum/pluginconf.d/fastestmirror.conf
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
curl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Vault-Aliyun.repo
yum clean all
yum makecache

确保最后yum makecache时，出现如下内容：

最后显示如下内容表示正常加载完成：

网上方案1：

原因：目前，CentOS6已停止更新支持，并且官方将已有的yum源删除了，因此需要更换yum源，否则会出现更新软件失败的现象。

解决方法：在终端上分别输入如下三行指令即可：

wget -O /etc/yum.repos.d/CentOS-Base.repo http://files.tttidc.com/centos6/Centos-6.repo
wget -O /etc/yum.repos.d/epel.repo http://files.tttidc.com/centos6/epel-6.repo
yum makecache

第二章：（看下面这些） MySQL的配置

yum前面的全部弄好了，安装MySQL完成，但是MySQL是免密登录的，暂时还没有设置密码，==即直接输入MySQL就可以进入，或者输入mysql -u root也可以进入MySQL。==后续用到在重新弄。MySQL配置时参考的博文：https://blog.csdn.net/xp_zyl/article/details/81060479

一、查看CentOS下是否已安装mysql

输入命令 ：yum list installed | grep mysql

二、删除已安装mysql

输入命令：

yum -y remove mysql

如果有：其他的文件也移除

yum -y remove mysql-libs.x86_64

yum -y remove mysql5.7-community-release.noarch

看到complete就说明成功了

三、从yum库中的安装mysql

输入命令：

yum list | grep mysql

yum -y install mysql mysql-server mysql-devel

四、验证是否安装成功

输入命令：rpm -qi mysql-server

五、启动MySql服务

输入命令：service mysqld start

MySQL设置登录密码

直接输入 mysql 并回车，如果成功，将出现MySQL提示符 >

C:UsersAdministrator>cd C:Program FilesMySQLMySQL Server 5.5bin

C:Program FilesMySQLMySQL Server 5.5bin>mysql Welcome to the MySQL monitor. Commands end with ; or g. Your MySQL connection id is 1 Server version: 5.5.35 MySQL Community Server (GPL)

Copyright © 2000, 2013, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners.

Type ‘help;’ or ‘h’ for help. Type ‘c’ to clear the current input statement.

mysql>

6.切换到mysql表

mysql>USE mysql;

7.可以修改密码了：

UPDATE user SET password=PASSWORd(“020819”) WHERe user=“root”;

8.刷新权限，不要忘记了：

mysql>FLUSH PRIVILEGES;

9.退出：(退出的方法很多 有quit、exit、ctrl+c、q 等等); 10.注销或重启计算机，然后打开MySQL服务，使用用户名root和设置的新密码就可以登录了。
原文链接：https://blog.csdn.net/weixin_42440389/article/details/113230553（包含怎么设置登录密码）

设置完登录报错：

1.报错如下：

[root@hadoop101 ~]# mysql
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)
[root@hadoop101 ~]# mysql -h 192.168.181.101 -u root -p020819;
ERROR 2003 (HY000): Can't connect to MySQL server on '192.168.181.101' (111)
[root@hadoop101 ~]# mysql -h 192.168.181.101 -u root -p020819
ERROR 2003 (HY000): Can't connect to MySQL server on '192.168.181.101' (111)
[root@hadoop101 ~]# mysql -h localhost -u root -p020819
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)
[root@hadoop101 ~]# 

2.解决方法：没有重启MySQL服务，重启一下，然后用密码登录就可以了：service mysqld start

MySQL乱码

使用命令行操作mysql时中文数据出现乱码
因为本机mysql与虚拟机mysql连接 mysql -h 192.168.181.101 -u root -p

-h 虚拟机IP地址 -u 用户名 -p表示使用密码登录
而本机mysql使用的是utf-8 虚拟机mysql使用的是gbk所以出现乱码
使用

set names gbk

完结：

MySQL全部搞好,登录密码也设置了，密码为020819，如果出现有关mysql.sock的错误，第一个是考虑上面的问题，有没有重启MySQL，要启动MySQL服务。第二个就是要考虑是不是断电问题，导致下载时没有下载好，就要进入到MySQL的相关目录，然后删掉之前的sock,这里推荐看看是不是mysql 启动出问题的文章。

Linux的目录结构：

1./home:通常的配置下，每个用户都会在/home目录中拥有一个属于自己的目录。普通用户只能在自己的主目录中创建文件。这一限制可以保护系统免遭错误的用户行为的破坏
2./opt	用来安装其它可选的软件。主要用来存放可能安装在系统中的商业软件
3./var/log	包含的日志文件，记录了各种系统活动。这些文件非常重要，并且应该时不时监控它们。其中最有用的文件是/var/log/messages.安全起见，只有超级用户才能查看日志文件
4./tmp	供用户存放各类程序创建的临时文件的目录。某些配置使得每次系统重启时都会清空该目录
5./etc 是放置配置文件的地方

文件目录：还是和之前一样，新建了export： 在/export/softwars里面存放软件的压缩包，然后解压后的软件发在/export/servers里面。

redis的安装与配置（完结） redis的安装可以直接下面操作：

1.安装gcc
yum install gcc
yum install gcc-c++
2.下载redis
下载地址要自己新建目录，我自己的是建了/export/softwares 和/export/servers,其中softwares是放压缩包的，而servers是放解压后的文件的，下面这个要在softwares目录下执行。
wget http://download.redis.io/redis-stable.tar.gz
如何解压到servers目录下：tar -zxvf redis-stable.tar.gz -C ../servers
3.编译、安装：
make
make install

redis的配置可以直接下面操作+文档

1.配置文件一般放在/etc/下，创建redis目录:
cd /etc/
mkdir redis
2.dump file、进程pid、log目录等，一般放在/var/目录下:
cd /var/
mkdir redis
cd redis
mkdir data log run
3.修改配置文件，配置参数,首先拷贝解压包下的redis.conf文件至/etc/redis
cd redis-stable  #进入redis-stable目录的意思
cp redis.conf /etc/redis/
4.查看/etc/redis/redis.conf并进行修改
cd /etc/redis/
ll
vim redis.conf
5.修改的内容：98行左右将看看端口是不是 port 6379是就不用改，一般是不用改的。然后大概279行左右有个要改成：pidfile /var/redis/run/redis.pid （他可能是redis_6379,就是现在改，然后后面可能会在改回来）然后444行左右改成 
dir /var/redis/data  292行左右改成 logfile /var/redis/log/redis.log 然后247行左右有个daemonize no 中要把no改成yes.改为后保存然后reboot重启虚拟机，然后redis-server /etc/redis/redis.conf 启动服务。
6.查看pid信息，进入/var/redis/run目录，然后ll看看total是不是4，是就对了，在/var/redis/data/ 到这个目录ll看看是不是4，是就对了，最后在到/var/redis/log/目录ll看看是不是4或者8,如果是就对了，8是因为日志没打开一次就生成一个，是累加的。
7.测试客户端连接：到/bin/目录下，然后敲 redis-cli 看看有没有进入到端口号，有就可以了，退出就直接Ctrl+C

redis 服务及开机自启动

1.拷贝解压包下utils下redis启动脚本至/etc/init.d/:
cp utils/redis_init_script /etc/init.d/
2.修改脚本名称为redis，即在/etc/init.d/的目录下执行：mv redis_init_script redis
3.修改这个redis文件，即在/etc/init.d/目录下直接vim redis
4.修改内容：直接把最后那个PIDFILE和CONF改成下面这两个目录：
PIDFILE=/var/redis/run/redis_${REDISPORT}.pid (注意有redis，要全部一样，看清楚)
CONF="/etc/redis/redis_${redisport}.conf"
5.对应修改文件名
mv /var/redis/run/redis.pid /var/redis/run/redis_6379.pid
mv /etc/redis/redis.conf /etc/redis/redis_6379.conf
6.把/etc/redis/redis.conf(此时redis.conf应该变成了redis_6379.conf,文档里面错了，不管它)中279行改成 pidfile /var/redis/run/redis_6379.pid
7.在/etc/init.d/目录下看看能不能启动和关闭redis
service redis start
service redis stop 没报错就是可以。
8.给启动脚本添加权限，使他可以在其他目录下可以启动：
chmod +x /etc/init.d/redis
删除权限是： chmod –x /etc/init.d/redis
9.设置自启动： chkconfig reids on

第三章：Hadoop集群的搭建

注意：三台虚拟机登录时为root 和123456，密码是老师设好了，没有改

1.克隆后的虚拟机需要注意的点：

1.vim /etc/udev/rules.d/70-persistent-net.rules 删除eth0该行；将eth1修改为eth0，同时复制物理ip地址
2.vim /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR=00:0c:29:7f:24:b3 
ONBOOT=yes 
BOOTPROTO=static
IPADDR=192.168.110.101
NETMASK=255.255.255.0
GATEWAY=192.168.110.2
DNS1=8.8.8.8
3.vim /etc/sysconfig/network 改主机名
4.vim /etc/hosts 修改hosts文件：
192.168.110.101 hadoop101.hadoop.com hadoop101
192.168.110.102 hadoop102.hadoop.com hadoop102
192.168.110.103 hadoop103.hadoop.com hadoop103
5.service iptables stop
chkconfig iptables --list
chkconfig iptables off
chkconfig iptables --list
6.reboot 重启

host文件放在 vim /etc/hosts中 ，修改主机名：vim /etc/sysconfig/network

yum 安装程序：yum -y install 软件名

2.定时任务：

crontab -e 编辑，然后输入：*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
查看：crontab -l

3.相关指令：

创建目录：mkdir -p /export/servers
window上传文件；rz -E
移动文件：mv jdk..tar.gz  /export/softwares
解压：cd /export/softwares/  tar  -zxvf jdk..tar.gz -C ../servers/
拷贝文件： scp -r /export/servers/jdk.../  hadoop102:/export/servers/
配置环境变量：vim /etc/profile
使配置生效：source /etc/profile
格式化HDFS:如果是第一次格式化可以直接在hadoop-3.1.2目录下执行：bin/hdfs namenode -formate  如果不是第一次格式化，就要先关掉进程，即（stop-dfs) 在删掉datas文件夹和logs 文件夹。

4.启动和关闭集群命令:

/export/servers/hadoop-3.1.3/sbin/start-dfs.sh
/export/servers/hadoop-3.1.3/sbin/start-yarn.sh
mapred --daemon start historyserver

启动hdfs后可以在第一台看到：namenode、datanode、secondarynamenode
http://192.168.181.101:50070/dfshealth.html#tab-overview
        
启动yarn后可以在第一台看到：nodeManger、ResourceManager
 http://192.168.81.101:8088/cluster
            
/export/servers/hadoop-3.1.2/sbin/stop-all.sh
mapred --daemon stop historyserver