基于Redis实现的延迟队列

aisuhua 发布于2019-06-27 16:54 / 2663人阅读

摘要：基于实现的延迟队列参考有赞延迟队列设计实现项目地址应用场景订单超过分钟未支付，自动关闭订单完成后如果用户一直未评价天后自动好评会员到期前天到期前天分别发送短信提醒猜想支付宝异步通知时间间隔是如何实现的通知的间隔频率一般是订单支付成功后生成

delay-queue

基于Redis实现的延迟队列, 参考有赞延迟队列设计实现

项目地址

应用场景

订单超过30分钟未支付，自动关闭

订单完成后, 如果用户一直未评价, 5天后自动好评

会员到期前15天, 到期前3天分别发送短信提醒

猜想

支付宝异步通知时间间隔是如何实现的(通知的间隔频率一般是：2m,10m,10m,1h,2h,6h,15h)

订单支付成功后, 生成通知任务, 放入消息队列中.
任务内容包含Array{0,0,2m,10m,10m,1h,2h,6h,15h}和通知到第几次N(这里N=1, 即第1次).
消费者从队列中取出任务, 根据N取得对应的时间间隔为0, 立即发送通知.

第1次通知失败, N += 1 => 2
从Array中取得间隔时间为2m, 添加一个延迟时间为2m的任务到延迟队列, 任务内容仍包含Array和N

第2次通知失败, N += 1 => 3, 取出对应的间隔时间10m, 添加一个任务到延迟队列, 同上
......
第7次通知失败, N += 1 => 8, 取出对应的间隔时间15h, 添加一个任务到延迟队列, 同上
第8次通知失败, N += 1 => 9, 取不到间隔时间, 结束通知

实现原理

利用Redis的有序集合，member为JobId, score为任务执行的时间戳,

每秒扫描一次集合，取出执行时间小于等于当前时间的任务.

依赖

Redis

运行

./delay-queue -c delay-queue.conf

HTTP Server监听0.0.0.0:9277, Redis连接地址127.0.0.1:6379, 数据库编号1

HTTP接口

请求方法 POST

请求Body及返回值均为json

返回值

{
  "code": 0,
  "message": "添加成功",
  "data": null
}

参数名	类型	含义	备注
code	int	状态码	0: 成功非0: 失败
message	string	状态描述信息
data	object, null	附加信息

添加任务

URL地址 /push

{
  "topic": "order",
  "id": "15702398321",
  "delay": 3600,
  "ttr": 120,
  "body": "{"uid": 10829378,"created": 1498657365 }"
}

参数名	类型	含义	备注
topic	string	Job类型
id	string	Job唯一标识	需确保JobID唯一
delay	int	Job需要延迟的时间, 单位：秒
ttr	int	Job执行超时时间, 单位：秒
body	string	Job的内容，供消费者做具体的业务处理，如果是json格式需转义

轮询队列获取任务

服务端会Hold住连接, 直到队列中有任务或180秒后超时返回,
任务执行完成后需调用finish接口删除任务, 否则任务会重复投递, 消费端需能处理同一任务的多次投递

URL地址 /pop

{
  "topic": "order"
}

参数名	类型	含义	备注
topic	string	Job类型

队列中有任务返回值

{
  "code": 0,
  "message": "操作成功",
  "data": {
    "id": "15702398321",
    "body": "{"uid": 10829378,"created": 1498657365 }"
  }
}

队列为空返回值

{
  "code": 0,
  "message": "操作成功",
  "data": null
}

删除任务

URL地址 /delete

{
  "id": "15702398321"
}

参数名	类型	含义	备注
id	string	Job唯一标识

完成任务

URL地址 /finish

{
  "id": "15702398321"
}

参数名	类型	含义	备注
id	string	Job唯一标识

idc机房托管专线服务消息队列的实现基于webrtc的电话回声消除的研究与实现基于webrtc的视频会议系统的设计与实现基于防火墙技术的校园网络安全设计与实现

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/23164.html

基于golang和redis实现轻量级队列

摘要：基于和实现轻量级队列概述是基于提供的特性使用语言开发的一个简单易用的队列关于使用特性可以参考之前本人写过一篇很简陋的文章实现队列的灵感和设计是基于有赞延迟队列设计文章内容清晰而且很好理解但是没有提供源码在文章的最后也提到了一些未来架构方向不 Github: 基于golang和redis实现轻量级队列 1. 概述 gmq是基于redis提供的特性,使用go语言开发的一个简单易用的队列;...

array_huang 2019-07-24 16:31 评论0 收藏0
Delayer 基于 Redis 的延迟消息队列中间件

摘要：基于的延迟消息队列中间件，采用开发，支持等多种语言客户端。参考有赞延迟队列设计中的部分设计，优化后实现。会员到期前天，短信通知续费。其他针对某个任务，延迟执行功能的需求。服务器端定时使用连接池并行将中到期的放入对应的中，供客户端取出。 Delayer 基于 Redis 的延迟消息队列中间件，采用 Golang 开发，支持 PHP、Golang 等多种语言客户端。参考有赞延迟队列设计...

Xufc 2019-07-01 10:52 评论0 收藏0
Delayer 基于 Redis 的延迟消息队列中间件

摘要：基于的延迟消息队列中间件，采用开发，支持等多种语言客户端。参考有赞延迟队列设计中的部分设计，优化后实现。会员到期前天，短信通知续费。其他针对某个任务，延迟执行功能的需求。服务器端定时使用连接池并行将中到期的放入对应的中，供客户端取出。 Delayer 基于 Redis 的延迟消息队列中间件，采用 Golang 开发，支持 PHP、Golang 等多种语言客户端。参考有赞延迟队列设计...

Ashin 2019-07-24 15:53 评论0 收藏0
laravel 队列

摘要：如果任务没有在规定时间内完成，那么该有序集合的任务将会被重新放入队列中。这两个进程操纵了三个队列，其中一个，负责即时任务，两个，负责延时任务与待处理任务。如果任务执行成功，就会删除中的任务，否则会被重新放入队列中。在实际的项目开发中，我们经常会遇到需要轻量级队列的情形，例如发短信、发邮件等，这些任务不足以使用 kafka、RabbitMQ 等重量级的消息队列，但是又的确需要异步、重试...

BDEEFE 2019-07-01 10:35 评论0 收藏0
laravel 队列

摘要：如果任务没有在规定时间内完成，那么该有序集合的任务将会被重新放入队列中。这两个进程操纵了三个队列，其中一个，负责即时任务，两个，负责延时任务与待处理任务。如果任务执行成功，就会删除中的任务，否则会被重新放入队列中。在实际的项目开发中，我们经常会遇到需要轻量级队列的情形，例如发短信、发邮件等，这些任务不足以使用 kafka、RabbitMQ 等重量级的消息队列，但是又的确需要异步、重试...

Scorpion 2019-07-24 15:46 评论0 收藏0