hadoop+MYSQL+HBASE+HIVE伪分布式搭建

1.hadoop伪分布式安装和部署
前期准备：
按步安装虚拟机
网络配置：
配置网络
vi /etc/sysconfig/network-scripts/ifcfg-ens33
#修改并添加以下内容
BOOTPROTO=static //修改为静态网络
onBOOT=yes
IPADDR0=192.168.159.44 //子网IP
GATEWAY0=192.168.159.2 //网关
PREFIXOO=24
DNS1=8.8.8.8 //子网掩码
DNS2=8.8.4.4 //备用子网掩码
wq！ //保存并退出

重启网络
	service network restart

测试网络是否ping得通
	ping www.baidu.com

关闭防火墙
firewall-cmd --state //查看防火墙状态
systemctl stop firewalld.service //关闭防火墙
systemctl disable firewalld.service //关闭防火墙开机自启动
关闭selinux
vi /etc/selinux/config
SELINUX = disabled //修改为disabled值
修改hosts和hostname
vi /etc/hosts
#添加IP和网络名
192.168.159.44 zrn
wq! //保存并退出

	vi /etc/hostname
	zrn  //将网络名修改为zrn
	wq! //保存并退出
重启虚拟机
	reboot

上传压缩包：
链接xshell
上传所要配置的各种压缩包
JDK安装与配置
tar -zxvf jdk包全路径 -C /opt
cd /opt
mv jdk包名 jdk
vi /etc/profile
#添加以下内容
export JAVA_HOME=/opt/jdk
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
wq! //保存并退出
java -version //测试是否配置成功
伪分布式进行时：
解压并配置环境变量
tar -zxvf hadoop压缩包全路径 -C /opt/
cd /opt/
mv 文件名称 hadoop
vi /etc/profile
#添加以下内容
export HADOOP_HOME=/opt/hadoop
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

wq! //保存并退出
source /etc/profile //使配置文件生效
hadoop version //查看是否配置成功
修改配置文件
hadoop-env.sh
export JAVA_HOME=jdk路径
mapreduce-env.sh
export JAVA_HOME=JDK路径
yarn-env.sh
export JAVA_HOME=JDK路径
core-site.xml
#增加以下内容

fs.defaultFS
hdfs://127.0.0.1:8020


hadoop.tmp.dir
/opt/hadoop/data/tmp

hdfs-site.xml
#添加以下内容

dfs.replication
2


dfs.datanode.data.dir
/opt/hadoop/data/hadoopdata/data


dfs.namenode.name.dir
/opt/hadoop/data/hadoopdata/name

mapred-site.xml

mapreduce.framework
yarn

yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle

启动hdfs
初始化hadoop
hadoop namenode -format
启动hadoop
start-dfs.sh
start-yarn.sh

2.ZOOKEEPER 安装与配置
1 解压缩
运行命令 tar -zxvf zookeeper-3.4.6.tar.gz -C /opt
解压后的文件夹为 zookeeper-3.4.6 ，为了方便，将文件夹改为zookeeper。mv zookeeper-3.4.6 zookeeper

2 配置
为模拟3个分布式节点，所以须要创建三个节点的配置文件 zoo1.cfg、zoo2.cfg、zoo3.cfg
cd /usr/local/zookeeper/conf
将zoo_sample.cfg改名为zoo1.cfg
mv zoo_sample.cfg zoo1.cfg
cp zoo1.cfg zoo2.cfg
cp zoo1.cfg zoo3.cfg

zoo1.cfg配置例如以下 （注意以下标红的地方）

注：上面的hadoop3是的机器名，能够写成127.0.0.1

zoo2.cfg配置例如以下

zoo3.cfg配置例如以下

创建Zookeeper 保存数据的文件夹
mkdir -p /opt/zookeeper/data/zk1
mkdir -p /opt/zookeeper/data/zk2
mkdir -p /opt/zookeeper/data/zk3

4 创建节点标识
在/opt/zookeeper/data/zk1 、 /opt/zookeeper/data/zk3 、/opt/zookeeper/data/zk3 三个文件夹下分别创建myid文件
里面分别写1、2、3用于标识第几号server
vi /opt/zookeeper/data/zk1
1
vi /opt/zookeeper/data/zk1
2
vi /opt/zookeeper/data/zk1
3
5 启动zookeeper
cd /opt/zookeeper/

6 查看启动状态

能够看到管理节点在3号server上

3.MySQL安装
解压安装包
tar -zxvf mysql全路径 -C /opt
cd /opt/
mv mysql文件名 mysql
创建数据仓库目录
mkdir -p /data/mysql
新建msyql用户、组及目录
useradd mysql
useradd -r -s /sbin/nologin -g mysql -d /opt/mysql
改变目录属有者
cd /opt/mysql
pwd
chown -R mysql .
chgrp -R mysql .
配置参数
bin/mysqld --initialize --user=mysql --basedir=/opt/mysql --datadir=/data/mysql
#会生成一个随机密码，复制一下
修改系统配置文件
cd support-files/
cp mysql.server /etc/init.d/mysql
vi /ect/init.d/mysql
#修改成以下内容
basedir=/opt/mysql
datadir=/data/mysql
启动MySQL
mysql -h127.0.0.1 -uroot -p
–如果出现：-bash:mysql:command not found
–就执行：#ln -s /opt/mysql/bin/mysql/usr/bin
–没有就不再执行
–粘贴生成的临时密码
–修改密码
mysql>set password=password(‘root’);
–设置root账户的host地址（修改了才可以远程连接）
mysql>grant all privileges on . to ‘root’@’%’ identified by ‘root’;
mysql>flush privileges;
使用SQLyog测试是否能连接上，如果不能就执行 /sbin/iptables -I INPUT -p tcp -dport 3306 -j ACCEPT
添加系统路径
vim /etc/profile
#添加以下内容
export PATH=/usr/local/bin: P A T H e x p o r t P A T H = / o p t / m y s q l / b i n : PATH export PATH=/opt/mysql/bin: PATHexportPATH=/opt/mysql/bin:PATH

#使配置文件生效
source /etc/profile
配置MySQL自动启动
chmod 755 /etc/init.d/mysql
chkconfig --add mysql
chkconfig --level 345 mysql on

3.hive安装
1.进入mysql
mysql -uroot -proot
2.建立Hive元数据需要的MySQL下的数据库“hive”，并赋予相应权限
mysql>create database hive;
mysql>flush privileges;
3.退出数据库
mysql>quit;
5.配置hive安装包
①解压
tar -zxvf hive压缩包全路径 -C /opt
cd /opt/
mv hive包名 hive
②配置hive环境变量
vi /etc/profile
#添加以下内容
export HIVE_HOME=/opt/hive
export HIVE_CONF_DIR=/opt/hive/conf
export PATH= P A T H : PATH: PATH:HIVE_HOME/bin
wq! //保存并退出
#使配置文件生效
source /etc/profile
6.配置Hive相关配置文件的参数
cd /opt/hive/conf
cp hive-default.xml.template hive-site.xml
vi hive-site.xml
#删除所有标签的内容，并添加以下内容：

hive.metastore.warehouse.dir
/data/hive/warehouse


hive.metastore.local
true


javax.jdo.option.ConnectionURL
jdbc:mysql://121.0.0.1/hive?createDatabaseIfNotExist=true&useSSL=false


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver


javax.jdo.option.ConnectionUserName
root


javax.jdo.option.ConnectionPassword
root


hive.metastore.schema.verification
false

wq! //保存并退出
7.启动Hive服务端
①初始化元数据
schematool -dbType mysql -initSchema
②查看进程
nohup hive --service metastore > metastore.log 2>&1 &
③启动hive
hive

4.Hbase的安装与配置
1.解压压缩包
tar -zxvf hbase压缩包全路径 -C /opt
cd /opt/
mv hbase文件名 hbase
2.更改配置文件
cd /opt/hbase/conf
vi hbase-env.sh
#修改为以下内容
export JAVA_HOME=/opt/jdk
export Hbase_MANAGES_ZK=false
wq! //保存并退出

vi hbase-site.xml
#添加以下内容：


　　　　　　　　　 hbase.rootdir
hdfs://127.0.0.1:8020/hbase


hbase.cluster.distributed
true


hbase.zookeeper.quorum
127.0.0.1


dfs.replication
1


wq！ //保存并退出

#配置环境变量
vi /etc/propfile
#添加以下内容
export Hbase_HOME=/opt/hbase
export PATH= P A T H : PATH: PATH:Hbase_HOME/bin
wq! //保存并退出
source /etc/profile //使配置文件生效
3.启动Hbase
start-hbase.sh