栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

解决Hive on Spark与Spark on Hive之间表数据不互通问题

解决Hive on Spark与Spark on Hive之间表数据不互通问题

解决Hive on Spark与Spark on Hive之间表数据不互通问题 问题描述

通过Ambari2.7.5安装HDP3.1.5集群后,spark-sql和hive虽然已经实现了整合,无论在hive还是spark-sql都能看到对等的数据;但是如果是在spark-sql下创建的表,则无法在hive下插入数据。反之亦然。如下图所示:

从上图可以看到:

test1表是spark-sql创建并插入一条数据,可以在hive中查看。

但是执行insert时报错。提示:Failed to create Spark client for Spark session.

产生原因

原因很简单,因为Hive3.0后默认开启了ACID功能和严格模式,且只允许自己创建和插入。而HDP3.1.5集群中,的Spark版本为2.3.0,虽然与Hive兼容,但是Spark目前还不支持ACID。spark-sql创建的表无法在hive中插入数据。

解决方案

登录Ambari管理页面,取消ACID、严格模式、只允许自己插入三个属性即可。字段名如下:

hive.strict.managed.tables=false 
hive.create.as.insert.only=false 
metastore.create.as.acid=false

Ambari界面操作截图如下:(已hive.strict.managed.tables为例,其他类似)

rict.managed.tables为例,其他类似)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/654197.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号