自主查询系统(一)——使用kafka缓存mysql与greenplum的执行队列(难点高吞吐量时候顺序消费无法保证)

论坛 期权论坛 脚本     
匿名技术用户   2021-1-3 19:44   14   0

https://segmentfault.com/a/1190000015766938?utm_source=tag-newest

https://howtoprogram.xyz/2016/09/25/spring-kafka-multi-threaded-message-consumption/

今日leader提到了kafka的顺序消费问题不会满足mysql与gp的不同并发需求,满足不了多分区消费时候顺序读写问题。方案不通过,因此采用其他部门的任务调度框架。

leader决定让我学一个调度sql的任务框架,这样能保证顺序读写(也就是队列FIFO方式)。

目前实现了,用的redis作队列缓存,然后多线程调度,druid做连接池。

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:7942463
帖子:1588486
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP