Spark官网提供的编译版本默认是不支持Hive的，今天就给大家介绍采用源码编译方法得到支持Hive的Spark版本一、配置maven
maven配置比较简单，我们就参考 Linux配置Maven_allofme022的博客-CSDN博客_linux配置maven
我们要确保mvn可用，可以检查下配置的maven信息
执行 mvn -version，输出如下证明maven配置正确
二、下载源码我们下载spark的源码
去官网下载 Downloads | Apache Spark，选择版本3.0.3的源码下载
三、编译首先解压刚才下载的源码文件到sparksrc
在解压根目录 /software/sparksrc/spark-3.0.3 执行
./dev/make-distribution.sh --tgz --name h31hive --mvn mvn -Pyarn -Phadoop-3.1 -Dhadoop.version=3.1.3 -Phive -Phive-thriftserver -DskipTests
执行后，maven就开始打包了，因为要下载很多包文件，具体看网速快慢，国内源会快一些，大概30多分钟，如下图
打包的jar文件路径信息也输出如下
我们执行ll，列出文件
已经有了spark-3.0.3.tgz这个打好的包，这个包就是集成了hive3.1.3的包，我们可以使用这个包安装部署spark了
总结
感谢能看到这里的朋友
本次的分享就到这里，猫头鹰数据致力于为大家分享技术干货
如果以上过程中出现了任何的纰漏错误，烦请大佬们指正
受益的朋友或对技术感兴趣的伙伴记得点赞关注支持一波
也可以搜索关注我的微信公众号【猫头鹰数据分析】，留言交流
