MC的分布式算法的实现和一些总结

首先我们知道Memcached是一个分布式的缓存系统,但memcached并不像是mongodb那样,允许配置多个节点,且节点之间是自动分配数据的

也就是说memcached节点之间,是互不相通信的,因此,memcached的分布式,要靠用户去设计算法,把数据分布在多个memcached节点中。

我们来看一下常用的分布式的算法:

1.取模算法:

最容易想到的就是取模算法,即N个节点要从0-》n-1进行编号,key对N取模,余i,则key落在第i台服务器上。

就是将server的hash值与server的总台数进行求余,即hash%N,这种方法的弊端是当增减服务器时,将会有较多的缓存需要被重新分配且会造成缓存分配不均匀的情况(有可能某一台服务器分配的很多,其它的却很少).

但我们来看一下这种算法对缓存命中率的影响:

我们假设有8台服务器,运行中突然down一台,则求余的底数变成7

我们来推算一下产生的后果:

一般地,我们从数学上归纳之:

有N台服务器,变成了N-1台服务器,

每N*(N-1)个数中,只有(n-1)个单元,%n,%(n-1)得到相同的结果

所以 命中率在服务器down的短期内,急遽下降至1/(N-1)

所以 服务器越多,则down机的后果越严重!

我们来讨论下一致性hash的算法:

通俗理解一致性哈希:

把各个服务器节点放在钟表的各个时刻上,我们将Key也映射到钟表的某个时刻上,该key沿钟表顺时针走,碰到第一个比它小的节点后,则这个key就落到这台服务器上。

1 疑问1:时钟上的指针最大才11点,如果我有上百个memcached节点怎么办?
2 答: 时钟只是为了便于理解做的比喻,在实际应用中,我们可以在圆环上分布[0,2^32-1]的数字,
3 这样,全世界的服务器都可以装下了.
4
5 疑问2:我该如何把”节点名”,”键名”转化成整数?
6 答: 你可以用现在的函数,如crc32().
7 也可以自己去设计转化规则,但注意转化后的碰撞率要低.
8 即不同的节点名,转换为相同的整数的概率要低.

好了,那我们再考虑一下当某个节点Down了之后,后产生什么样的影响?

当某个节点down后,只影响该节点顺时针之后的1个节点,而其他节点不受影响.因此,Consistent Hashing最大限度地抑制了键的重新分布

我们通过上图看到,6号节点down后,所有的压力都转移到7号节点上,造成了7号节点服务器的压力特别的大,那我们考虑是否能够将6号节点的压力注意到其余的节点上呢?

所以我们引入了虚拟节点的概念:

虚拟节点即----N个真实节点,把每个真实节点映射成M个虚拟节点, 再把M*N个虚拟节点,

散列在圆环上. 各真实节点对应的虚拟节点相互交错分布

这样,某真实节点down后,则把其影响平均分担到其他所有节点上

好了,上面就是一致性hash的理论知识点,接下来我们来考虑一下怎样实现?

下面是用php来实现的代码:

 1 <?php
 2
 3
 4 class Consistent {
 5         protected $_nodes = array();
 6
 7         //生成一个数值
 8         public function _hash($str){
 9                 return sprintf("%u",crc32($str));
10         }
11
12         public function find($key){
13                 $point = $this->_hash($key);
14                 $pos  = current($this->_nodes);
15
16                 foreach($this->_nodes as $k=>$v){
17                         if($point <= $k){
18                                 $pos = $v;
19                                 break;
20                         }
21                 }
22                 return $pos;
23         }
24
25         public function addServer($server){
26                 for($i=1;$i<=32;$i++){
27                         $pos = $this->_hash($server."-".$i);
28                         $this->_nodes[$pos] = $server;
29                 }
30
31                 ksort($this->_nodes,SORT_REGULAR);
32         }
33
34         public function printNodes(){
35                 print_r($this->_nodes);
36         }
37
38 }
39
40 $cons = new Consistent();
41
42 $cons->addServer(‘a‘);
43 $cons->addServer(‘b‘);
44 $cons->addServer(‘c‘);
45
46 echo $cons->_hash(‘name‘)."<br/>";
47 echo ‘应该落在‘.$cons->find(‘name‘)."<br/>";
48
49 $cons->printNodes();
50 ?>
时间: 2024-10-12 12:43:06

MC的分布式算法的实现和一些总结的相关文章

万年历算法的实现(C语言--gcc编译)

/** cal.c * * 现行的格里历是从儒略历演化而来的.儒略历每4年一个润年,润年366天,平年365天.* 如果从公元1年算的话,那么凡是能够被4整除的都是润年.从天文角度看,儒略历这种 * 历法是有误差的,到16世纪误差已经达到了10天.1582年,罗马教皇对儒略历进行了 * 一次校定,该年的10-5到10-14这10天被抹掉,并规定凡不能被400整除的世纪年不再 * 算为润年,校定之后的儒略历即为现行的格里历. * * 但是英国直到1752年才开始使用格里历,此时时间误差已经达到了1

搜索引擎--范例:中英文混杂分词算法的实现--正向最大匹配算法的原理和实现

纯中文和中英文混杂的唯一区别是,分词的时候你如何辨别一个字符是英文字符还是孩子字符, 人眼很容易区分,但是对于计算机来说就没那么容易了,只要能辨别出中文字符和英文的字符,分词本身就不是一个难题 1:文本的编码问题: utf8:windows下,以utf8格式保存的文本是一个3个字节(以16进制)的BOM的,并且你不知道一个汉字是否是用3位表示,但是英文适合ascii编码一样的 ascii:英文一位,中文两位,并且中文的第一个字节的值是大于128和,不会和英文混淆,推荐 unicode:中文基本是

探讨排序算法的实现

排序算法是我们工作中使用最普遍的算法,常见的语言库中基本都会有排序算法的实现,比如c标准库的qsort,stl的sort函数等.本文首先介绍直接插入排序,归并排序,堆排序,快速排序和基数排序等比较排序算法,然后介绍计数排序,基数排序等具有线性时间的排序算法.本文主要讨论算法的实现方法,并不会过多介绍基本理论. 评价一个排序算法优劣适用与否,一般需要从三个方面来分析 时间复杂度.用比较操作和移动操作数的最高次项表示,由于在实际应用中最在乎的是运行时间的上限,所以一般取输入最坏情况的下的运行时间作为

Bug2算法的实现(RobotBASIC环境中仿真)

移动机器人智能的一个重要标志就是自主导航,而实现机器人自主导航有个基本要求--避障.之前简单介绍过Bug避障算法,但仅仅了解大致理论而不亲自动手实现一遍很难有深刻的印象,只能说似懂非懂.我不是天才,不能看几遍就理解理论中的奥妙,只能在别人大谈XX理论XX算法的时候,自己一个人苦逼的面对错误的程序问为什么... 下面开始动手来实现一下简单的Bug2避障算法.由于算法中涉及到机器人与外界环境的交互,因此需要选择一个仿真软件.常用的移动机器人仿真软件主要有Gazebo.V-rep.Webots.MRD

软考笔记第六天之各排序算法的实现

对于前面的排序算法,用c#来实现 直接插入排序: 每次从无序表中取出第一个元素,把它插入到有序表的合适位置,使有序表仍然有序.第一趟比较前两个数,然后把第二个数按大小插入到有序表中: 第二趟把第三个数据与前两个数从前向后扫描,把第三个数按大小插入到有序表中:依次进行下去,进行了(n-1)趟扫描以后就完成了整个排序过程.直接插入排序属于稳定的排序,最坏时间复杂性为O(n^2),空间复杂度为O(1).直接插入排序是由两层嵌套循环组成的.外层循环标识并决定待比较的数值.内层循环为待比较数值确定其最终位

图像旋转算法的实现

上一篇转载的文章(http://blog.csdn.net/carson2005/article/details/36900161)介绍了图像旋转的原理,这里给出代码实现,具体原理请参考上面的链接: 实现代码: void ImgRotate(cv::Mat imgIn, float theta, cv::Mat& imgOut) { int oldWidth = imgIn.cols; int oldHeight = imgIn.rows; // 源图四个角的坐标(以图像中心为坐标系原点) fl

Canny边缘检测算法的实现

Canny原理 Canny的原理就不细说了,冈萨雷斯的<数字图像处理>(第三版)P463~465讲解的比较清楚,主要就四个步骤: 1. 对图像进行高斯滤波 2. 计算梯度大小和梯度方向 3. 对梯度幅值图像进行非极大抑制 4. 双阈值处理和连接性分析(通常这一步与非极大抑制并行,详见下面的代码) 下面重点说一下非极大抑制. 非极大抑制 对一幅图像计算梯度大小和梯度方向后,需要进行非极大抑制,一般都是通过计算梯度方向,沿着梯度方向,判断该像素点的梯度大小是否是极大值.这里主要说一下方向的判断.

Python 排序算法的实现

冒泡排序: 1 def bubble(l): 2 length = len(l) 3 for i in range(length): 4 for j in range(i+1, length): 5 if l[i] > l[j]: 6 l[i], l[j] = l[j], l[i] 7 print l 选择排序: 1 def select(l): 2 length = len(l) 3 for i in range(length): 4 minn = i 5 for j in range(i+1

数组正负元素前后移动算法的实现(以0为分界线)

mnesia在频繁操作数据的过程可能会报错:** WARNING ** Mnesia is overloaded: {dump_log, write_threshold},可以看出,mnesia应该是过载了.这个警告在mnesia dump操作会发生这个问题,表类型为disc_only_copies .disc_copies都可能会发生. 如何重现这个问题,例子的场景是多个进程同时在不断地mnesia:dirty_write/2 mnesia过载分析 1.抛出警告是在mnesia 增加dump