一致性哈希算法运用到分布式

我知道一致性哈希算法。但是,在没遇到你的时候,我还不知道怎么写。因为我肯本还没来的思考。但是,现在我知道了~~嘿嘿。   这里主要讲的是memcached(以下简称mem)集群,遇到集群中某台服务器down(M服务器)后,无法get到mem的值,这就给程序带来了风险,我们需要将风险用算法分摊出去,并将M的mem分布到正常的服务器上(N是正常运转的服务器)。
先讨论风险分摊的理论算法思路(因为同步mem是另外一篇,有时间再聊聊): 其实,主要思路很简单。通俗点儿来讲,就是理解将一个点分散为多个点分散在一个圆环上----俗称“虚拟节点”。,在数学的概念上,如果节点足够均匀的分布在一个圆环上 ,那么我们的风险也就平摊在每个节点上了。
前提:我们需要一种机制,将任意字符串按一个标准转换成整数crc32(),往高大上的讲就是hash它,让你对她爱慕有佳。
首先,第一步:添加节点a,这里不光是简单的添加,需要将节点虚拟成多个节点;言外之意,在一个圆环上随机分配a-$i个节点。           第二部:对每个虚拟节点hash掉,放在一个数组中,并按照key-value中的key来排序。ksort(),这个又是PHP的杰出代表者。           第三部:就是核心了,我们要找到新增的字符串应该在圆环上的位置,回到显示就是找到新增的mem数据应该插入到那台mem服务器上比较合理。我想的,这里也是做了前面步骤后,顺应的结果。           第四部:完善这个算法,我们理所当然的做到有增有减。addNode,delNode。

第五步:华丽丽的代码展示,雏形。

<?php

interface hash{

public function hash($str);

}

interface distribution{

public function lookup($key);

}

class Consistent implements hash,distribution{

protected $_postion=array();

protected $_mul=64;

public function hash($str){

return sprintf(‘%u‘,crc32($str));

}

public function lookup($key){

$point=$this->hash($key);

$node=current($this->_postion);

foreach($this->_postion as $k=>$v){

if($point <= $k){

$node=$v;

break;

}

}

return $node;

}

public function addNode($node){

for($i=0;$i<$this->_mul;$i++){

$this->_postion[$this->hash($node.‘-‘.$i)]=$node;

}

$this->_sortPos();

}

public function delNode($node){

foreach($this->_postion as $k=>$v){

if($v == $node){

unset($this->_postion[$k]);

}

}

}

public function _sortPos(){

ksort($this->_postion,SORT_REGULAR);

}

public function printPos(){

print_r($this->_postion);

}

}

$con=new Consistent();

$con->addNode(‘a‘);

$con->addNode(‘b‘);

$con->addNode(‘c‘);

// $con->delNode(‘c‘);

echo ‘所有服务器如下:<br/>‘;

$con->printPos();

echo ‘当前的键计算的hash落点是‘.$con->_hash(‘name‘),‘<br/>‘;

echo $con->lookup(‘name‘);

?>

一致性哈希算法运用到分布式

时间: 2024-09-28 14:16:46

一致性哈希算法运用到分布式的相关文章

7月目标 socket , 一致性哈希算法 ; mongodb分片; 分布式消息队列; 中间件的使用场景

  分布式的基础:一致性哈希  路由算法的一致性hash http://www.jiacheo.org/blog/174 http://www.tuicool.com/articles/vQVbmai http://www.cnblogs.com/huangxincheng/p/3708316.html   redis 和 mongodb的使用,要能自己写 helper帮助类,和多台机器上的使用   socket http://www.cnblogs.com/JimmyZhang/archive

分布式一致性哈希算法

一致性哈希算法是一种分布式哈希算法,主要是为了解决互联网中的热点(Hot spot)问题 计算公式 hash(服务器IP地址) % 2^32 hash(对象) % 2^32 将对象Hash后的值映射到顺时针最近的一台服务器上 Java实现 package com.bounter.mybatis.util; import java.util.LinkedList; import java.util.List; import java.util.SortedMap; import java.util

分布式_理论_08_Consistent Hash(一致性哈希算法)

一.前言 五.参考资料 1.分布式理论(八)—— Consistent Hash(一致性哈希算法) 原文地址:https://www.cnblogs.com/shirui/p/9660846.html

转(一致性哈希算法(consistent hashing))

转自:http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得分布式哈希(DHT)可以在P2P环境中真正得到应用. 一致性hash算法提出了在动态变化的Cache环境中,判定哈希算法好坏的四个定义: 1.平衡性(Balance)

一致性哈希算法原理

一致性Hash算法背景 一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简单哈希算法带来的问题,使得DHT可以在P2P环境中真正得到应用. 但现在一致性hash算法在分布式系统中也得到了广泛应用,研究过memcached缓存数据库的人都知道,memcached服务器端本身不提供分布式cache的一致性,而是由客户端来提供,具体在计算一致性has

一致性哈希算法(consistent hashing)(转)

原文链接:每天进步一点点——五分钟理解一致性哈希算法(consistent hashing) 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得分布式哈希(DHT)可以在P2P环境中真正得到应用. 一致性hash算法提出了在动态变化的Cache环境中,判定哈希算法好坏的四个定义: 1.平衡性(Balance):平衡性是指哈希的

一致性哈希算法

tencent2012笔试题附加题    问题描述: 例如手机朋友网有n个服务器,为了方便用户的访问会在服务器上缓存数据,因此用户每次访问的时候最好能保持同一台服务器.已有的做法是根据ServerIPIndex[QQNUM%n]得到请求的服务器,这种方法很方便将用户分到不同的服务器上去.但是如果一台服务器死掉了,那么n就变为了n-1,那么ServerIPIndex[QQNUM%n]与ServerIPIndex[QQNUM%(n-1)]基本上都不一样了,所以大多数用户的请求都会转到其他服务器,这样

一致性哈希算法及其在分布式系统中的应用(转)

原文:http://blog.codinglabs.org/articles/consistent-hashing.html 本文将会从实际应用场景出发,介绍一致性哈希算法(Consistent Hashing)及其在分布式系统中的应用.首先本文会描述一个在日常开发中经常会遇到的问题场景,借此介绍一致性哈希算法以及这个算法如何解决此问题:接下来会对这个算法进行相对详细的描述,并讨论一些如虚拟节点等与此算法应用相关的话题. 分布式缓存问题 假设我们有一个网站,最近发现随着流量增加,服务器压力越来越

五分钟理解一致性哈希算法(consistent hashing)

转载请说明出处:http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得分布式哈希(DHT)可以在P2P环境中真正得到应用. 一致性hash算法提出了在动态变化的Cache环境中,判定哈希算法好坏的四个定义: 1.平衡性(Bal