栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

sparksql 指定输出的文件名

sparksql 指定输出的文件名

这是sparksql写入hive表指定输出文件名的自定义方式。

版本:spark-2.3.2

实现目的
在目前的业务需求中,需要实现场景为:

当往一个hive表中不断以Append的方式写入数据,需要知道哪些文件是哪一次运行后追加的文件,所以最好的方法是往输出的文件名前添加前缀,如日期,或者调度编号等。但是spark未提供相应参数接口,需要更改一丢丢源码来实现。

实现方式

只需要更新 org.apache.spark.internal.io.HadoopMapReduceCommitProtocol#getFilename 方法内容,添加如 spark.sql.hyren.outputfilename.preffix 配置项重新打包替换 spark-core_2.11-2.3.2.jar 即可。

使用时指定配置项如

spark.conf.set("spark.sql.hyren.outputfilename.preffix","20200101")


 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/721755.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号