栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hive的JDBC的连接方式

Hive的JDBC的连接方式

Hive和JDBC
  • Hive
    • 一、Hive的访问方式
      • 1. 连接虚拟机
      • 2. 准备工作
    • 二、开始连接
    • 三、测试连接
    • 四、hive的终端优化

hive的连接有三种方式,分别是CLI连接、HiveServer2/beeline、web UI,这三种的方式远程连接Hive,但是这篇文章不会一一的介绍这三种方式,我只会着重讲Java采用JDBC的方式去连接Hive,这里我们先了解一下,hive的访问方式。
这里说的是版本号为hive2.3.7的访问方式

Hive 一、Hive的访问方式
	Hive的访问方式主要分为两种,一种是本地模式,通常用于单机测
	试,另一种是远程连接模式,比较常用。由于我们需要使用idea去
	连接hive,所以这里讲的肯定是远程连接模式。
1. 连接虚拟机
	我们这里需要使用xshell来连接虚拟机,这里如果是MacBook系
	统,可以使用其自带的终端使用ssh roo@【你的虚拟机的用户
	名】去远程连接虚拟机,后续的操作主要是在idea中,win和mac
	的区别不太大,所以这里着重介绍win 的操作方式。
2. 准备工作
	由于这个是2.3.7的版本,所以这个版本的远程连接是有一定区别
	的,这里我们先去修改Hive-sete.xml文件


        
                javax.jdo.option.ConnectionURL
                jdbc:mysql://192.168.134.154:3306/hive
        

        
                javax.jdo.option.ConnectionDriverName
                com.mysql.jdbc.Driver
        

        
                javax.jdo.option.ConnectionUserName
                root
        

        
                javax.jdo.option.ConnectionPassword
                root
        

        
                hive.metastore.schema.verification
                false
        
	 
   		 hive.cli.print.current.db
		 true
	
	 
	         hive.cli.print.header
	         true
	
	
	
       		 hive.server2.thrift.port
     		 10000
	

    	
       		hive.server2.thrift.bind.host
       		192.168.134.154
     	



由于这里的默认的端口号是10000,如果无法使用,那就需要去修改
hadoop中的core-site.xml文件,只需要添加两段话就可以了。
     
	hadoop.proxyuser.用户组名.hosts     
	* 
 
     
	hadoop.proxyuser.用户组名.groups     
	* 


注意这里并不是直接复制进去,对应的用户名需要更改一下。
重启Hadoop

	hadoop的 重启就是先关闭在开启即可
	./sbin/stop-all.sh
	./abin/start-all.sh

开启hiveserver2服务

hive --service metastore &
hive --service hiveserver2 &

这里开通以后我们检查一下是否开启。

netstat -natp|grep ${port}
二、开始连接

连接之前我们需要先安装好maven的包,添加一下hive的依赖,这里无需从官网获取,我直接放在下面,复制进去,自动安装即可。



	org.apache.hive
	hive-jdbc
	${hive-version}
	
		
			org.eclipse.jetty.aggregate
			*
		
	

    
 
        org.apache.hadoop 
        hadoop-common 
       ${hadoop-version} 
 



注意,留意看,这里我把hive的版本号给留住了,自己修改一下即可。

三、测试连接

这里不说原理,代码讲解单独在一个文章中去详细的讲解,有需要可以关注我的hive专栏,里面会持续更新
直接上代码

import java.sql.*;

public class HiveJDBC {
    public static void main(String[] args) throws ClassNotFoundException, SQLException {
        Class.forName("org.apache.hive.jdbc.HiveDriver");
        Connection conn = DriverManager.getConnection("jdbc:hive2://master:10000/kayleigh");
        Statement stat = conn.createStatement();
        ResultSet rs = stat.executeQuery("select * from students_buks_zj limit 10");
        while (rs.next()) {
            int id = rs.getInt(1);
            String name = rs.getString(2);
            int age = rs.getInt(3);
            String gender = rs.getString(4);
            String clazz = rs.getString(5);
            System.out.println(id + "," + name + "," + age + "," + gender + "," + clazz);
        }
        rs.close();
        stat.close();
        conn.close();
    }
}

四、hive的终端优化
如果我们想在hive的终端看到当前的数据库名,还有在查询结果上面
到列名称,我们这里可以修改一下hive-site.xml文件
这个步骤可选可不选,这里直接把需要修改的放在下面了。

 
    hive.cli.print.header
    true
  
  
    hive.resultset.use.unique.column.names
    false
  
   
    hive.cli.print.current.db
    true
  

##五、 问题描述
如果出现了类似如下的报错:

 org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset!   Struct:TOpenSessionReq(client_protocol:null)
	很有可能就是项目中的hive-jdbc版本和服务器不一致的原因导致
	的,这里我们需要更换这里的文件版本信息就可了。
	这个问题初学者应该很容易就有,安装的过程一定要非常的小心
	学习大数据除了努力之外,还需要非常细心,一个小小的问题可
	能带来的问题都是致命的。
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/695652.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号