栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

学习记录

学习记录

1、maven-surefire-plugin是maven里执行测试用例的插件,不显示配置就会用默认配置。maven打包如何跳过test用例,mvn clean package -Dmaven.test.skip=true ,或者

详细说明链接:学习Maven之Maven Surefire Plugin(JUnit篇)

2、Linux 如何在某路径下全局查找某内容,如 zouwh:grep "zouwh" ./* -rwnH

3、impala上查询表分区,可看到存储路径: show partitions table_nale; 注意,外部表&分区表 如果各个分区的数据来源不一样,show create table 得到的 hdfs路径是空的,可通过该命令得到各分区实际数据路径。

4、比较有意思的flink sql:

SELECt order_id, price FROM (VALUES (1, 2.0), (2, 3.1))  AS t (order_id, price)

5、Flink任务,同一维度粒度,sink到holo的数据量和kafka source数据量不一致,即发生数据丢失,如何处理? 这次发生丢失应该是由于 holo热升级导致的,是同一时间段发生的。
查询出什么时间的数据发生丢失,从最早丢失的时间开始重新消费,具体配置调整为:

  ,'scan.startup.mode' = 'timestamp'
  ,'scan.startup.timestamp-millis'= '1644991200000' --2022-02-16 14:00:00 用于数据恢复,重新启动需要重新修改参数
  --,'scan.startup.mode' = 'group-offsets' --生产

时间戳可从链接获取:时间戳获取

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/742668.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号