栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

org.apache.spark.sql.adapter.Spark3Adapter 问题以及spark-hudi提交yarn脚本

org.apache.spark.sql.adapter.Spark3Adapter 问题以及spark-hudi提交yarn脚本

问题描述:

sparkstructedstreaming 将kafka数据写入hudi 并与hive同步
执行报错如下:

Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.adapter.Spark3Adapter

解决办法:
问题显示没有发现适配器这个包?
spark也没这个包啊?

查看启动脚本,忘记添加hudi --jars了…

--jars /opt/soft/hudi/hudi-0.9.0/packaging/hudi-spark-bundle/target/hudi-spark3-bundle_2.12-0.9.0.jar --packages org.apache.spark:spark-avro_2.12:3.0.2

spark-hudi提交yarn测试完整脚本:

详细地址及包版本替换自己的即可

/opt/soft/spark3/bin/spark-submit --master yarn --deploy-mode client --driver-memory 1g --num-executors 2 --total-executor-cores 2 --executor-memory 2g --queue spark --class streaming.TestStructStreaming --jars /opt/soft/hudi/hudi-0.9.0/packaging/hudi-spark-bundle/target/hudi-spark3-bundle_2.12-0.9.0.jar --packages org.apache.spark:spark-avro_2.12:3.0.2 streaming-1.0-SNAPSHOT-jar-with-dependencies.jar
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/728794.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号