Redis實現(xiàn)唯一計數(shù)的3種方法分享
來源:易賢網(wǎng) 閱讀:943 次 日期:2015-04-14 14:10:15
溫馨提示:易賢網(wǎng)小編為您整理了“Redis實現(xiàn)唯一計數(shù)的3種方法分享”,方便廣大網(wǎng)友查閱!

唯一計數(shù)是網(wǎng)站系統(tǒng)中十分常見的一個功能特性,例如網(wǎng)站需要統(tǒng)計每天訪問的人數(shù) unique visitor (也就是 UV)。計數(shù)問題很常見,但解決起來可能十分復(fù)雜:一是需要計數(shù)的量可能很大,比如大型的站點每天有數(shù)百萬的人訪問,數(shù)據(jù)量相當(dāng)大;二是通常還希望擴展計數(shù)的維度,比如除了需要每天的 UV,還想知道每周或每月的 UV,這樣導(dǎo)致計算十分復(fù)雜。

在關(guān)系數(shù)據(jù)庫存儲的系統(tǒng)里,實現(xiàn)唯一計數(shù)的方法就是 select count(distinct <item_id>),它十分簡單,但是如果數(shù)據(jù)量很大,這個語句執(zhí)行是很慢的。用關(guān)系數(shù)據(jù)庫另外一個問題是插入數(shù)據(jù)性能也不高。

Redis 解決這類計數(shù)問題得心應(yīng)手,相比關(guān)系數(shù)據(jù)庫速度更快,消耗資源更少,甚至提供了 3 種不同的方法。

1.基于 set

Redis 的 set 用于保存唯一的數(shù)據(jù)集合,通過它可以快速判斷某一個元素是否存在于集合中,也可以快速計算某一個集合的元素個數(shù),另外和可以合并集合到一個新的集合中。涉及的命令如下:

代碼如下:

SISMEMBER key member # 判斷 member 是否存在

SADD key member # 往集合中加入 member

SCARD key # 獲取集合元素個數(shù)

基于 set 的方法簡單有效,計數(shù)精確,適用面廣,易于理解,它的缺點是消耗資源比較大(當(dāng)然比起關(guān)系數(shù)據(jù)庫是少很多的),如果元素個數(shù)很大(比如上億的計數(shù)),消耗內(nèi)存很恐怖。

2.基于 bit

Redis 的 bit 可以用于實現(xiàn)比 set 內(nèi)存高度壓縮的計數(shù),它通過一個 bit 1 或 0 來存儲某個元素是否存在信息。例如網(wǎng)站唯一訪客計數(shù),可以把 user_id 作為 bit 的偏移量 offset,設(shè)置為 1 表示有訪問,使用 1 MB的空間就可以存放 800 多萬用戶的一天訪問計數(shù)情況。涉及的命令如下:

代碼如下:

SETBIT key offset value # 設(shè)置位信息

GETBIT key offset # 獲取位信息

BITCOUNT key [start end] # 計數(shù)

BITOP operation destkey key [key ...] # 位圖合并

基于 bit 的方法比起 set 空間消耗小得多,但是它要求元素能否簡單映射為位偏移,適用面窄了不少,另外它消耗的空間取決于最大偏移量,和計數(shù)值無關(guān),如果最大偏移量很大,消耗內(nèi)存也相當(dāng)可觀。

3.基于 HyperLogLog

實現(xiàn)超大數(shù)據(jù)量精確的唯一計數(shù)都是比較困難的,但是如果只是近似的話,計算科學(xué)里有很多高效的算法,其中 HyperLogLog Counting 就是其中非常著名的算法,它可以僅僅使用 12 k左右的內(nèi)存,實現(xiàn)上億的唯一計數(shù),而且誤差控制在百分之一左右。涉及的命令如下:

代碼如下:

PFADD key element [element ...] # 加入元素

PFCOUNT key [key ...] # 計數(shù)

這種計數(shù)方法真的很神奇,我也沒有徹底弄明白,有興趣可以深入研究相關(guān)文章。

redis 提供的這三種唯一計數(shù)方式各有優(yōu)劣,可以充分滿足不同情況下的計數(shù)要求。

更多信息請查看IT技術(shù)專欄

更多信息請查看數(shù)據(jù)庫
易賢網(wǎng)手機網(wǎng)站地址:Redis實現(xiàn)唯一計數(shù)的3種方法分享
由于各方面情況的不斷調(diào)整與變化,易賢網(wǎng)提供的所有考試信息和咨詢回復(fù)僅供參考,敬請考生以權(quán)威部門公布的正式信息和咨詢?yōu)闇?zhǔn)!

2025國考·省考課程試聽報名

  • 報班類型
  • 姓名
  • 手機號
  • 驗證碼
關(guān)于我們 | 聯(lián)系我們 | 人才招聘 | 網(wǎng)站聲明 | 網(wǎng)站幫助 | 非正式的簡要咨詢 | 簡要咨詢須知 | 加入群交流 | 手機站點 | 投訴建議
工業(yè)和信息化部備案號:滇ICP備2023014141號-1 云南省教育廳備案號:云教ICP備0901021 滇公網(wǎng)安備53010202001879號 人力資源服務(wù)許可證:(云)人服證字(2023)第0102001523號
云南網(wǎng)警備案專用圖標(biāo)
聯(lián)系電話:0871-65099533/13759567129 獲取招聘考試信息及咨詢關(guān)注公眾號:hfpxwx
咨詢QQ:526150442(9:00—18:00)版權(quán)所有:易賢網(wǎng)
云南網(wǎng)警報警專用圖標(biāo)