栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

ambari2.7.4 spark整合hive

ambari2.7.4 spark整合hive

环境:

HDP 3.1
ambari 2.7.4
hive 3.1.0
spark 2.3.0

1. 添加hive-site.xml 到spark下
cp /usr/hdp/3.1.4.0-315/hive/conf/hive-site.xml /usr/hdp/3.1.4.0-315/spark2/conf
2. 添加hdfs core 配置到spark下
cp /usr/hdp/3.1.4.0-315/hadoop/conf/hdfs-site.xml core-site.xml /usr/hdp/3.1.4.0-315/spark2/conf
3. 将数据库连接jar包放入spark2/jars目录下
cp mysql-connector-java你的jar包.jar /usr/hdp/3.1.4.0-315/spark2/jars
4. 查看hive对应配置并修改spark配置


5. 修改hive默认创建表格式,因为spark2读不了hive创建的acid内部表数据

运行


可以查看到hive创建的表

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/673916.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号