栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Flink读取文件目录问题解决方案,目录下的文件在上传中产生的临时文件报错等问题

Flink读取文件目录问题解决方案,目录下的文件在上传中产生的临时文件报错等问题

Flink读取文件目录:
因为目录下的文件可能会不断新增,在新增过程中文件处于传输阶段
会出现比如01.data文件正在上传,在hdfs中显示的是01.data._COPYING_文件,只有真正上传完成后才能读取,而不设置过滤器的话就会报错,会提示._COPYING_文件不存在,所以像这样的临时文件需要我们过滤掉, 目前默认过滤器已经满足了我们的需求:方案如下

    @Test
    public void flink_read_hdfs_dir_stream() throws Exception {
   
        StreamExecutionEnvironment env =
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/602010.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号