栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

StarRocks-生产环境问题集锦

StarRocks-生产环境问题集锦

项目场景:

实时平台设计方案将最终目的数据库更换为StarRocks,使用后的感受简直就是更快更高更强,但在开发使用过程中也遇到了一些小问题(以下问题均出现在Flink写入StarRocks架构中).


问题描述及解决方案

1.flink实时写入到StarRocks,依赖引入出错

问题场景:最开始在pom.xml文件中引入的是DorisDB相关的依赖,任务能正常提交到yarn,但报的是写入doris失败的错误,看来StarRocks和前身DorisDB还真不是一回事,错误如下:

问题解决:

引入StarRocks相关的依赖,并将flink-connector-starrocks所带的部分依赖去掉,否则任务提交失败(我的是这样,视情况而定),报yarn相关的错误,截图如下:


说明:本人在使用时引入版本1.1.1_flink-1.13引入失败,引入1.1.1_flink-1.11版本没问题


2.日志报错too many filtered rows

由于插入的数据中某个字段值为null,而插入表中不能为null,报错如下:


问题解决:


记得点赞收藏奥,关注不迷路~

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/775638.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号