栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

spark写文件到odps报错异常

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

spark写文件到odps报错异常

spark读写odps异常
      • 报错信息:
      • 问题现象:
      • 排查原因:
      • 解决:

报错信息:

ERROR ApplicationMaster: User class threw exception: java.io.IOException: GetFilemeta PANGU_CAPABILITY_NO_PERMISSION PANGU_CAPABILITY_NO_PERMISSION PanguPermissionException When GetFilemeta

问题现象:

1)本地idea环境下执行可以写成功
2)本地打包后,在本地执行–local 也可以执行成功
3)打包后,提交到odps集群报错如上

排查原因:

odps并不支持直写盘古文件,在本地执行的时候底层肯定是写到盘古了,但是local应该是作为odps一个文件类似于资源去写的,然后打包提交cluster就变成直写盘古了,所以直写盘古会直接报错。

解决:

1)非结构化文件—》oss
2)结构化文件–》[Table] odps

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/643923.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号