鍍金池/ 問(wèn)答/人工智能/ redis 做消息隊(duì)列，控制隊(duì)列的消費(fèi)間隔。

redis 做消息隊(duì)列，控制隊(duì)列的消費(fèi)間隔。

最近遇到了一個(gè)難題。

我是用redis做消息隊(duì)列的。每個(gè)隊(duì)列都包含一個(gè)任務(wù)id，

簡(jiǎn)單的流程如下：

1、從list里面讀取id，消費(fèi)這個(gè)任務(wù)

2、根據(jù)id，從數(shù)據(jù)庫(kù)讀取這個(gè)任務(wù)的詳細(xì)信息。

數(shù)據(jù)結(jié)構(gòu)如下：比如

ID=1 URL：abc.com
ID=2 URL：abd.com
ID=3 URL：ab3.com
……

我現(xiàn)在需要做一個(gè)功能。

控制每個(gè)url的域名的訪問(wèn)間隔。 比如 任務(wù)里面的url里面有 abc.com 和 efg.com

我需要控制每隔5秒消費(fèi)一個(gè)包含abc.com任務(wù)，每個(gè)10秒消費(fèi)一個(gè)包含efg.com的任務(wù)

如果兼顧性能的同時(shí)又能完成這個(gè)功能？

加個(gè)條件：分布式、幾百萬(wàn)個(gè)隊(duì)列，幾十臺(tái)服務(wù)器

回答
編輯回答
瘋子范

你可以存放到兩個(gè) zset 隊(duì)列，以時(shí)間作為 score 排序，5s的zset1,插入時(shí)記錄下可以消費(fèi)的時(shí)間(當(dāng)前時(shí)間+5),每次取最老的記錄出來(lái)消費(fèi)，判斷當(dāng)前時(shí)間是否超過(guò)消費(fèi)時(shí)間，超過(guò)則消費(fèi)。然后10s放入zset2,同理操作。

2017年4月22日 02:18
編輯回答
心夠野

執(zhí)行結(jié)束後加個(gè)判斷 如果包含abc.com sleep(5)

2017年9月16日 08:01
編輯回答
別傷我

樓主可以了解下 beanstalked是內(nèi)存隊(duì)列

2018年8月14日 18:35
編輯回答
陪妳哭

目前是我是這樣處理的：

1、lpop任務(wù)。
2、檢測(cè)這個(gè)任務(wù)是否間隔了X秒。
3、如果符合，則消費(fèi)，如果不符合，不消費(fèi)。如果不消費(fèi)，使用lpush命令推入隊(duì)列。

這個(gè)功能的挑戰(zhàn)性在于性能。如果單單一臺(tái)服務(wù)器，那沒(méi)什么問(wèn)題，幾百萬(wàn)個(gè)任務(wù)隊(duì)列的時(shí)候，問(wèn)題就來(lái)了。
進(jìn)行這些檢測(cè)，每多一個(gè)步驟，都會(huì)增加很多額外的開(kāi)銷，qps會(huì)很高，有些隊(duì)列本來(lái)可以及時(shí)消費(fèi)，卻沒(méi)有去消費(fèi)。造成很多累積。

2018年2月16日 16:49
編輯回答
咕嚕嚕

還有一個(gè)問(wèn)題，為什么不檢測(cè)就會(huì)多次推入同一個(gè)任務(wù)呢？你不是先pop的么？

2018年8月13日 16:27