栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 云计算 > 云平台

iceberg flink upsert 流式数据入湖

云平台 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

iceberg flink upsert 流式数据入湖

-- flink v2

CREATE TABLE `sample_uniq_test01` (

  `id` BIGINT NOT NULL,

  `data` VARCHAr(2147483647),

  PRIMARY KEY (`id`) NOT ENFORCED

) PARTITIONED BY (`id`)

WITH (

  'format-version'='2',

  'catalog-database' = 'test001',

  'write.upsert.enabled' = 'true',

  'write.metadata.delete-after-commit.enabled' = 'true',

  'warehouse' = 'hdfs://nameservice2/user/hive/warehouse/',

  'uri' = 'thrift://10.8.49.114:9083,thrift://10.8.49.115:9083',

  'write.metadata.previous-versions-max' = '2',

  'catalog-table' = 'sample_uniq_test01',

  'catalog-type' = 'hive',

  'write.distribution-mode' = 'hash'

);

// 一定要有主键,且为主键在分区上,才可以的

insert into sample_uniq_test01 values (1,'1');

后面可以接入 flink kafka 表即可

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/897114.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号