栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

HADOOP搭建(4) hive搭建

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

HADOOP搭建(4) hive搭建

目录

约定

安装mysql

在线安装:

离线安装

配置


约定

JAVA_HOME=/bigdata/jdk1.8.0

HADOOP_HOME=/bigdata/hadoop-2.6.0

ZOOKEEPER_HOME=/bigdata/zookeeper-3.4.6

Hbase_HOME=/bigdata/hbase-1.0.1.1

HIVE_HOME=/bigdata/hive-1.2.1


安装mysql

可以离线也可以在线安装

在线安装:
  1. 卸载mariadb,否则安装mysql会出现冲突
  2. 执行命令rpm -qa | grep mariadb
  3. 列出所有被安装的mariadb rpm 包
  4. 执行命令rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64
  5. 如果linux中存在自带的mysql,建议卸载,删除
  6. 选择基于你环境的mysql版本,mysql的网站
  7. 可以利用wget对包直接下载,也可以编写yum源中的mysql-community.repo
vi /etc/yum.repos.d/mysql-community.repo



[mysql56-community]

name=MySQL 5.6 Community Server

baseurl=http://repo.mysql.com/yum/mysql-5.6-community/el/7/$basearch/

enabled=1

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

 baseurl的地址决定了你下载的版本这个自行选择

yum install mysql-community-server  安装mysql数据库

离线安装

1、查看mysql的依赖

        rpm -qa | grep mysql

2、删除mysql的依赖

        rpm -e --nodeps `rpm -qa | grep mysql`或者

        rpm -e --nodeps `rpm -qa | grep MySQL`

3、离线安装mysql

        rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm

        rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm

配置
  1. 启动mysql服务  service mysql start
  2. 加入到开机启动项    chkconfig mysql on
  3. 初始化配置mysql服务  whereis mysql_secure_installation 找一下初始化文件  再运
  4. 访问mysql服务并修改权限mysql -uroot -p123456
  5. 切换数据库:use mysql;
  6. 查看用户权限表: select user,host from user
  7. update user set host = '%' where user = 'root' (提示报错不用管,忽略)
  8. 刷新权限:flush privileges

  • 如果报错        

  • 解决办法:
  • ps aux | grep mysql   然后KILLmysql相关全部进程
  •  Pid是进程   kill -9 pid1 pid2 …  比如 kill -9 8301 8302
  • 然后再从第1步重新操作。

安装Hive
  1. 解压hive的安装包

     tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /bigdata

    修改下目录名称

    mv apache-hive-1.2.1-bin hive-1.2.1

  2. 备份配置文件

     cp hive-env.sh.template hive-env.sh

     cp hive-default.xml.template hive-site.xml

  3. 修改hive-env.sh  加入三行内容(大家根据自己的情况来添加)

    JAVA_HOME=/bigdata/jdk1.8.0

    HADOOP_HOME=/bigdata/hadoop-2.6.0

    HIVE_HOME=/bigdata/hive-1.2.1

  4. 修改hive-site.xml

    
        javax.jdo.option.ConnectionURL
        jdbc:mysql://192.168.174.101:3306/hive?useSSL=false
    
    
        javax.jdo.option.ConnectionDriverName
        com.mysql.jdbc.Driver
    
    
        javax.jdo.option.ConnectionUserName
        root
    
    
        javax.jdo.option.ConnectionPassword
        123456
    
    
        hive.querylog.location
        /bigdata/hive-1.2.1/tmp
    
    
        hive.exec.local.scratchdir
        /bigdata/hive-1.2.1/tmp
    
    
        hive.downloaded.resources.dir
        /bigdata/hive-1.2.1/tmp
    
  5. 将hadoop的jline-0.9.94.jar的jar替换成hive的版本。

    hive的 jline-2.12.jar 位置在 /bigdata/hive-1.2.1/lib/jline-2.12.jar

    将Hadoop的删除

    rm -rf   /bigdata/hadoop-2.6.0/share/hadoop/yarn/lib/jline-0.9.94.jar

    然后将hive的jar拷过去hadoop下:

    命令:

    cp  /bigdata/hive-1.2.1/lib/jline-2.12.jar /bigdata/hadoop-2.6.0/share/hadoop/yarn/lib/

  6. 拷贝mysql驱动到/bigdata/hive-1.2.1/lib目录下

     cp /bigdata/packet/mysql-connector-java-5.1.17.jar ../lib/

  7. 分发hive到各个子节点
    scp -r /bigdata/hive-1.2.1    node1:/bigdata
    scp -r /bigdata/hive-1.2.1    node2:/bigdata

  8. 在主节点/bigdata/hive/bin目录下执行:

    ./schematool -dbType mysql -initSchema  //初始化元数据

  9. 启动Hive ./hive

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/277862.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号