目录
约定
安装mysql
在线安装:
离线安装
配置
约定
JAVA_HOME=/bigdata/jdk1.8.0
HADOOP_HOME=/bigdata/hadoop-2.6.0
ZOOKEEPER_HOME=/bigdata/zookeeper-3.4.6
Hbase_HOME=/bigdata/hbase-1.0.1.1
HIVE_HOME=/bigdata/hive-1.2.1
安装mysql
可以离线也可以在线安装
在线安装:
- 卸载mariadb,否则安装mysql会出现冲突
- 执行命令rpm -qa | grep mariadb
- 列出所有被安装的mariadb rpm 包
- 执行命令rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64
- 如果linux中存在自带的mysql,建议卸载,删除
- 选择基于你环境的mysql版本,mysql的网站
- 可以利用wget对包直接下载,也可以编写yum源中的mysql-community.repo
vi /etc/yum.repos.d/mysql-community.repo
[mysql56-community]
name=MySQL 5.6 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.6-community/el/7/$basearch/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
baseurl的地址决定了你下载的版本这个自行选择
yum install mysql-community-server 安装mysql数据库
离线安装
1、查看mysql的依赖
rpm -qa | grep mysql
2、删除mysql的依赖
rpm -e --nodeps `rpm -qa | grep mysql`或者
rpm -e --nodeps `rpm -qa | grep MySQL`
3、离线安装mysql
rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm
rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm
配置
- 启动mysql服务 service mysql start
- 加入到开机启动项 chkconfig mysql on
- 初始化配置mysql服务 whereis mysql_secure_installation 找一下初始化文件 再运
- 访问mysql服务并修改权限mysql -uroot -p123456
- 切换数据库:use mysql;
- 查看用户权限表: select user,host from user
- update user set host = '%' where user = 'root' (提示报错不用管,忽略)
- 刷新权限:flush privileges
- 如果报错
- 解决办法:
- ps aux | grep mysql 然后KILLmysql相关全部进程
- Pid是进程 kill -9 pid1 pid2 … 比如 kill -9 8301 8302
- 然后再从第1步重新操作。
安装Hive
-
解压hive的安装包
tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /bigdata
修改下目录名称
mv apache-hive-1.2.1-bin hive-1.2.1
-
备份配置文件
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
- 修改hive-env.sh 加入三行内容(大家根据自己的情况来添加)
JAVA_HOME=/bigdata/jdk1.8.0
HADOOP_HOME=/bigdata/hadoop-2.6.0
HIVE_HOME=/bigdata/hive-1.2.1
-
修改hive-site.xml
javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.174.101:3306/hive?useSSL=false
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
123456
hive.querylog.location
/bigdata/hive-1.2.1/tmp
hive.exec.local.scratchdir
/bigdata/hive-1.2.1/tmp
hive.downloaded.resources.dir
/bigdata/hive-1.2.1/tmp
-
将hadoop的jline-0.9.94.jar的jar替换成hive的版本。
hive的 jline-2.12.jar 位置在 /bigdata/hive-1.2.1/lib/jline-2.12.jar
将Hadoop的删除
rm -rf /bigdata/hadoop-2.6.0/share/hadoop/yarn/lib/jline-0.9.94.jar
然后将hive的jar拷过去hadoop下:
命令:
cp /bigdata/hive-1.2.1/lib/jline-2.12.jar /bigdata/hadoop-2.6.0/share/hadoop/yarn/lib/
-
拷贝mysql驱动到/bigdata/hive-1.2.1/lib目录下
cp /bigdata/packet/mysql-connector-java-5.1.17.jar ../lib/
-
分发hive到各个子节点
scp -r /bigdata/hive-1.2.1 node1:/bigdata
scp -r /bigdata/hive-1.2.1 node2:/bigdata
-
在主节点/bigdata/hive/bin目录下执行:
./schematool -dbType mysql -initSchema //初始化元数据
-
启动Hive ./hive
解压hive的安装包
tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /bigdata
修改下目录名称
mv apache-hive-1.2.1-bin hive-1.2.1
备份配置文件
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
JAVA_HOME=/bigdata/jdk1.8.0
HADOOP_HOME=/bigdata/hadoop-2.6.0
HIVE_HOME=/bigdata/hive-1.2.1
修改hive-site.xml
javax.jdo.option.ConnectionURL jdbc:mysql://192.168.174.101:3306/hive?useSSL=false javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 123456 hive.querylog.location /bigdata/hive-1.2.1/tmp hive.exec.local.scratchdir /bigdata/hive-1.2.1/tmp hive.downloaded.resources.dir /bigdata/hive-1.2.1/tmp
将hadoop的jline-0.9.94.jar的jar替换成hive的版本。
hive的 jline-2.12.jar 位置在 /bigdata/hive-1.2.1/lib/jline-2.12.jar
将Hadoop的删除
rm -rf /bigdata/hadoop-2.6.0/share/hadoop/yarn/lib/jline-0.9.94.jar
然后将hive的jar拷过去hadoop下:
命令:
cp /bigdata/hive-1.2.1/lib/jline-2.12.jar /bigdata/hadoop-2.6.0/share/hadoop/yarn/lib/
拷贝mysql驱动到/bigdata/hive-1.2.1/lib目录下
cp /bigdata/packet/mysql-connector-java-5.1.17.jar ../lib/
分发hive到各个子节点
scp -r /bigdata/hive-1.2.1 node1:/bigdata
scp -r /bigdata/hive-1.2.1 node2:/bigdata
在主节点/bigdata/hive/bin目录下执行:
./schematool -dbType mysql -initSchema //初始化元数据
启动Hive ./hive



