栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flink state存储(flink分批读取数据库数据)

flink state存储(flink分批读取数据库数据)

1.依赖

参考:https://iceberg.apache.org/docs/latest/flink/#reading-with-datastream


      org.apache.flink
      flink-java
      1.12.0
      
    
    
      org.apache.flink
      flink-streaming-java_2.12
      1.12.0
      
    
    
      org.apache.flink
      flink-clients_2.12
      1.12.0
      
    
    
      org.apache.iceberg
      iceberg-core
      0.13.1
    

    
      org.apache.iceberg
      iceberg-flink-runtime
      0.12.1
    

2.代码
public class ReadIceberg {
    public static void main(String[] args) throws Exception {
        //创建flink执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(new Configuration());
        TableLoader tableLoader = TableLoader.fromHadoopTable("hdfs://hadoop01:9000/warehouse/iceberg/ods_db/test");
        DataStream batch = FlinkSource.forRowData()
                .env(env)
                .tableLoader(tableLoader)
                .streaming(false)
                .build();
        //打印
        batch.print();
        //提交任务
        env.execute("Test Iceberg Batch Read");
    }
}
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/771495.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号