栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hive安装部署

Hive安装部署

前提: 安装了 hadoop(提供数据的存储HDFS) 和 mysql (作为hive的元数据库)。

mysql新建了hive的用户。 用户名为 hive , 密码为 "12345678"

  1. 官网下载安装包 Index of /dist/hive 。 以hive-2.3.7为例
  2. 解压缩安装包
     

     以 安装目录为 /opt/cluster/servers 为例,

    cd /opt/cluster/servers/
    tar zxvf apache-hive-2.3.7-bin.tar.gz -C ../servers/
    cd ../servers
    mv apache-hive-2.3.7-bin hive-2.3.7
    
  3. 修改 hive配置。 可以拷贝 conf下的 hive-default.template.xml。也可以新建配置文件。
    以新建 hive-site.xml为例。新建文件后,新增内容.

    a- 指定hive的元数据 存储位置
    b- 指定元数据库的驱动程序(以 mysql为元数据库为例)
    c- 指定元数据库的 用户名和密码
    d- 指定数据在HDFS上的存储路径
    e- 设置方便操作,查看的属性。 在 命令行 中显示 数据库名和数据的表头
    f- 设置小规模数据时,使用本地模式,提高效率。本机练习时常用
     
    
    
    
    
        
    	
    		javax.jdo.option.ConnectionURL
    		jdbc:mysql://linux123:3306/hivemetadata?createDatabaseIfNotExist=true&useSSL=false
    		JDBC connect string for a JDBC metastore
    	
    
    	
    	
    		javax.jdo.option.ConnectionDriverName
    		com.mysql.jdbc.Driver
    		Driver class name for a JDBC metastore
    	
    	
    	
    	
    		javax.jdo.option.ConnectionUserName
    		hive
    		username to use against metastore database
    	
    	
    	
    	
    		javax.jdo.option.ConnectionPassword
    		12345678
    		password to use against metastore database
    	
    
    	
        
        	hive.metastore.warehouse.dir
    	    /user/hive/warehouse
    	
    
        
    	
    		hive.cli.print.current.db
    		true
    	
    
    	
    	
    		hive.cli.print.header
    		true
    	
    
    	
    	
    		hive.exec.mode.local.auto
    		true
    	
    
    

    注意jdbc的连接串,如果没有 useSSL=false 会有大量警告

    在xml文件中 & 表示 &

  4.  将对应的mysql驱动程序拷贝到 hive-2.3.7/lib 下。注意驱动程序版本要对应
    我的mysql是 5.7.24, 驱动程序版本是 5.1.46, mysql-connector-java-5.1.46.jar
     
  5. 配置环境变量 。配置hive的环境变量。方便后续的使用。
     
    vi /etc/profile
    
    # 在 /etc/profile 文件中增加环境变量
    
    export HIVE_HOME=/opt/cluster/servers/hive-2.3.7
    export PATH=$PATH:$HIVE_HOME/bin
    
    # 执行并生效
    source /etc/profile
    
  6. 初始化 元数据库
    schematool -dbType mysql -initSchema
  7. 启动 hive,验证是否部署成功
    # 启动hive服务之前,请先启动hdfs、yarn的服务
    
    [root@node123 ~]$ hive
    hive> show functions;

     
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/433956.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号