摘要:集群环境生产者有多个消费者有多个两边随时可增加上消息只会被一个消费者消费,不会有多个订阅者消费同一个消息,简单一对一解决消费者崩溃问题保证不会由于程序问题导致消息不丢失。
redis集群环境
生产者有多个 消费者有多个 两边随时可增加
redis上消息只会被一个消费者消费,不会有多个订阅者消费同一个消息,简单一对一
解决:
消费者崩溃问题:RPOPLPUSH保证不会由于程序问题导致消息不丢失。那么这部分中间状态数据如何处理。考虑集群copy到目标队列名称需要根据消费者程序部署unique名,可结合zk来做,当出现程序崩溃,该队列会自动成为可消费队列,消费完成后会被干掉
为了利用集群,多个队列写,生产者只负责轮训写,消费者轮训读
生产者崩溃问题,同样有成效记录来补偿中间状态。类似消费者来决定中间状态值的改变。
考虑redis内存问题,生产者根据队列情况进行阀值控制,避免消费太慢,写入太快
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/36117.html
前言 在若干次前的一场面试,面试官看我做过python爬虫/后端 的工作,顺带问了我些后端相关的问题:你觉得什么是后端? 送命题。当时脑瓦特了,答曰:逻辑处理和数据增删改查。。。 showImg(https://user-gold-cdn.xitu.io/2019/4/24/16a4ed4fc8c18078); 当场被怼得体无完肤,羞愧难当。事后再反思这问题,结合资料总结了一下。发现自己学过的Re...
摘要:能不能支持数据丢失啊可以的,参考我们之前说的那个数据零丢失方案其实一个肯定是很复杂的,其实这是个开放题,就是看看你有没有从架构角度整体构思和设计的思维以及能力。其实回答这类问题,说白了,起码不求你看过那技术的源码,起码你大概知道那个技术的基本原理,核心组成部分,基本架构构成,然后参照一些开源的技术把一个系统设计出来的思路说一下就好 比如说这个消息队列系统,我们来从以下几个角度来考虑一下 (1...
摘要:只有两个基础组件同时死亡,才会受到严重影响。的意外死亡,造成生产端发送失败。后台会有一个线程进行这些失败消息的遍历和重新投递。二阻塞业务正常进行。死亡,或者单独死亡,消息最终都会被发出,仅当与同时死亡,消息才会发送失败,并记录在日志文件里。 本工具的核心思想就是:赌。只有两个基础组件同时死亡,才会受到严重影响。哦,断电除外。 mq是个好东西,我们都在用。这也决定了mq应该是高高高可用的...
摘要:只有两个基础组件同时死亡,才会受到严重影响。的意外死亡,造成生产端发送失败。后台会有一个线程进行这些失败消息的遍历和重新投递。二阻塞业务正常进行。死亡,或者单独死亡,消息最终都会被发出,仅当与同时死亡,消息才会发送失败,并记录在日志文件里。 本工具的核心思想就是:赌。只有两个基础组件同时死亡,才会受到严重影响。哦,断电除外。 mq是个好东西,我们都在用。这也决定了mq应该是高高高可用的...
阅读 766·2021-11-15 11:37
阅读 1694·2019-08-30 13:54
阅读 2608·2019-08-29 17:27
阅读 995·2019-08-29 17:23
阅读 3236·2019-08-29 15:20
阅读 1111·2019-08-29 11:28
阅读 1443·2019-08-26 10:39
阅读 1178·2019-08-26 10:29