栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flink sql primary key

flink sql primary key

flink sql 添加主键DDL案例:

我们以mysql为例

-- 创建source表映射,注意:这里并不是真正的创建物理表,而是该表在数据库中已经存在。
create table source(
  id bigint,
  name STRING,
 PRIMARY KEY (id) NOT ENFORCED
)with ();
-- 创建sink表映射
create table sink(
  id bigint,
  name STRING,
 PRIMARY KEY (id) NOT ENFORCED
)with ();
-- 将source表中的数据同步到sink表
insert into sink
select * from source;
添加主键带来的效果如下: 1、当sink表为空表时,source表的数据会全部追加到sink表。 2、当sink表中有数据时,source表的数据会把全量数据同步到sink表,并且会覆盖原有的数据。例如



同步数据之后会把相同主键的value值覆盖掉。例如

flink sql 不添加主键DDL案例:
-- 创建source表映射,注意:这里并不是真正的创建物理表,而是该表在数据库中已经存在。
create table source(
  id bigint,
  name STRING
)with ();
-- 创建sink表映射
create table sink(
  id bigint,
  name STRING
)with ();
-- 将source表中的数据同步到sink表
insert into sink
select * from source;
不添加主键的效果如下: 1、当sink表为空表时,会将source表的全部数据进行同步 2、当sink表中有数据时,(当mysql表中存在id为主键的情况下)不会将原有数据进行覆盖。例如:

注意:当mysql表中设置以id为主键时,不会把原有的数据覆盖,而是把没有的主键数据(增量数据)同步进来,不过这种情况会报错,原因是主键冲突。当mysql表中没有设置id为主键时,flink会把source表的数据以追加的方式追加到sink表。


执行之后的结果表不会将原来的数据覆盖掉。如下图所示:

3、当mysql表中没有设置id为主键时,flink会把source表的数据以追加的方式追加到sink表。

这里接着执行,这个数据结果就是flink DDL不加主键,mysql中也不加主键的数据结果:

总结:为什么会出现这样的情况是因为flink 添加primary key,导致底层触发upsert操作的原因。

以上观点纯属个人观点,如果有不对的地方,欢迎大家指正!!!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/676836.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号