1、合理设计分片优化检索
2、删除时不会立马删除标记为删除状态,段合并时才会删除
3、track_total_hists 为true 会返回详细总量不加不会计算,所以优化大范围分页检索
4、大量消重取出前多少条,滚动消重
5、分页 拿出所有踢掉前面的给出后面的。
6、spark 微批次处理,flink 单条处理

1、合理设计分片优化检索
2、删除时不会立马删除标记为删除状态,段合并时才会删除
3、track_total_hists 为true 会返回详细总量不加不会计算,所以优化大范围分页检索
4、大量消重取出前多少条,滚动消重
5、分页 拿出所有踢掉前面的给出后面的。
6、spark 微批次处理,flink 单条处理