国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 邏輯算法 > 正文

MC的分布式算法的實現和一些總結

2020-03-22 18:01:39
字體:
來源:轉載
供稿:網友
  • 首先我們知道Memcached是一個分布式的緩存系統,但memcached并不像是mongodb那樣,允許配置多個節點,且節點之間是自動分配數據的

    也就是說memcached節點之間,是互不相通信的,因此,memcached的分布式,要靠用戶去設計算法,把數據分布在多個memcached節點中。

    我們來看一下常用的分布式的算法:

    1.取模算法:

    最容易想到的就是取模算法,即N個節點要從0-》n-1進行編號,key對N取模,余i,則key落在第i臺服務器上。

    就是將server的hash值與server的總臺數進行求余,即hash%N,這種方法的弊端是當增減服務器時,將會有較多的緩存需要被重新分配且會造成緩存分配不均勻的情況(有可能某一臺服務器分配的很多,其它的卻很少).

    但我們來看一下這種算法對緩存命中率的影響:

    我們假設有8臺服務器,運行中突然down一臺,則求余的底數變成7

    我們來推算一下產生的后果:

    一般地,我們從數學上歸納之:

    有N臺服務器,變成了N-1臺服務器,

    每N*(N-1)個數中,只有(n-1)個單元,%n,%(n-1)得到相同的結果

    所以 命中率在服務器down的短期內,急遽下降至1/(N-1)

    所以 服務器越多,則down機的后果越嚴重!

    我們來討論下一致性hash的算法:

    通俗理解一致性哈希:

    把各個服務器節點放在鐘表的各個時刻上,我們將Key也映射到鐘表的某個時刻上,該key沿鐘表順時針走,碰到第一個比它小的節點后,則這個key就落到這臺服務器上。

    1 疑問1:時鐘上的指針最大才11點,如果我有上百個memcached節點怎么辦?2 答: 時鐘只是為了便于理解做的比喻,在實際應用中,我們可以在圓環上分布[0,2^32-1]的數字,3 這樣,全世界的服務器都可以裝下了.4 5 疑問2:我該如何把”節點名”,”鍵名”轉化成整數?6 答: 你可以用現在的函數,如crc32().7 也可以自己去設計轉化規則,但注意轉化后的碰撞率要低.8 即不同的節點名,轉換為相同的整數的概率要低.

    好了,那我們再考慮一下當某個節點Down了之后,后產生什么樣的影響?

    當某個節點down后,只影響該節點順時針之后的1個節點,而其他節點不受影響.因此,Consistent Hashing最大限度地抑制了鍵的重新分布

    我們通過上圖看到,6號節點down后,所有的壓力都轉移到7號節點上,造成了7號節點服務器的壓力特別的大,那我們考慮是否能夠將6號節點的壓力注意到其余的節點上呢?

    所以我們引入了虛擬節點的概念:

    虛擬節點即----N個真實節點,把每個真實節點映射成M個虛擬節點, 再把M*N個虛擬節點,

    散列在圓環上. 各真實節點對應的虛擬節點相互交錯分布

    這樣,某真實節點down后,則把其影響平均分擔到其他所有節點上

    好了,上面就是一致性hash的理論知識點,接下來我們來考慮一下怎樣實現?

    下面是用php來實現的代碼:

     1 <?php 2  3  4 html' target='_blank'>class Consistent { 5         protected $_nodes = array(); 6  7         //生成一個數值   8         public function _hash($str){ 9                 return sprintf('%u',crc32($str));10         }11 12         public function find($key){13                 $point = $this->_hash($key);14                 $pos  = current($this->_nodes);15 16                 foreach($this->_nodes as $k=>$v){17                         if($point <= $k){18                                 $pos = $v;19                                 break;20                         }21                 }22                 return $pos;23         }24 25         public function addServer($server){26                 for($i=1;$i<=32;$i++){27                         $pos = $this->_hash($server.'-'.$i);28                         $this->_nodes[$pos] = $server;29                 }30 31                 ksort($this->_nodes,SORT_REGULAR);32         }33 34         public function printNodes(){35                 print_r($this->_nodes);36         }37 38 }39 40 $cons = new Consistent();41 42 $cons->addServer('a');43 $cons->addServer('b');44 $cons->addServer('c');45 46 echo $cons->_hash('name').'<br/>';47 echo '應該落在'.$cons->find('name').'<br/>';48 49 $cons->printNodes();50 ?>
    PHP編程

    鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

  • 發表評論 共有條評論
    用戶名: 密碼:
    驗證碼: 匿名發表
    主站蜘蛛池模板: 泽普县| 桂阳县| 保山市| 石河子市| 雷波县| 余庆县| 蕲春县| 铁岭市| 万盛区| 德化县| 宁远县| 望江县| 德格县| 绥阳县| 平果县| 汝南县| 湖口县| 聂拉木县| 镇康县| 蓬莱市| 呼伦贝尔市| 宜丰县| 漾濞| 鲁山县| 永昌县| 乌兰察布市| 北票市| 保德县| 深圳市| 独山县| 朔州市| 台湾省| 盐边县| 定西市| 习水县| 台南市| 社旗县| 阿克苏市| 绥中县| 香港 | 靖州|