Golang的一致性哈希实现

Golang的一致性哈希实现

一致性哈希的具体介绍,可以参考:http://www.cnblogs.com/haippy/archive/2011/12/10/2282943.html

 1 import (
 2     "hash/crc32"
 3     "sort"
 4     "strconv"
 5     "sync"
 6 )
 7 ?
 8 const DEFAULT_REPLICAS = 100
 9 type SortKeys []uint32
10 ?
11 func (sk SortKeys) Len() int {
12     return len(sk)
13 }
14 ?
15 func (sk SortKeys) Less(i, j int) bool {
16     return sk[i] < sk[j]
17 }
18 ?
19 func (sk SortKeys) Swap(i, j int) {
20     sk[i], sk[j] = sk[j], sk[i]
21 }
22 ?
23 type HashRing struct {
24     Nodes map[uint32]string
25     Keys  SortKeys
26     sync.RWMutex
27 }
28 ?
29 func (hr *HashRing)New(nodes []string) {
30     if nodes == nil {
31         return
32     }
33 ?
34     hr.Nodes = make(map[uint32]string)
35     hr.Keys = SortKeys{}
36     for _, node := range(nodes) {
37         for i := 0; i < DEFAULT_REPLICAS; i++ {
38             str := node + strconv.Itoa(i)
39             hr.Nodes[hr.hashStr(str)] = node
40             hr.Keys = append(hr.Keys, hr.hashStr(str))
41         }
42     }
43     sort.Sort(hr.Keys)
44 }
45
46 func (hr *HashRing) hashStr(key string) uint32 {
47     return crc32.ChecksumIEEE([]byte(key))
48 }
49
50 func (hr *HashRing) GetNode(key string) string {
51     hr.RLock()
52     defer hr.RUnlock()
53     hash := hr.hashStr(key)
54     i := hr.get_position(hash)
55     return hr.Nodes[hr.Keys[i]]
56 }
57 ?
58 func (hr *HashRing) get_position(hash uint32) int {
59     i := sort.Search(len(hr.Keys), func(i int) bool {
60         return hr.Keys[i] >= hash})
61 ?
62     if i < len(hr.Keys) {
63         if i == len(hr.Keys) - 1 {
64             return 0
65         } else {
66             return i
67         }
68     } else {
69         return len(hr.Keys) - 1
70     }
71 }
72
73  
时间: 2024-10-01 07:54:13

Golang的一致性哈希实现的相关文章

Go语言实现一致性哈希(Consistent Hashing)算法

一致性哈希可用于解决服务器均衡问题. 用Golang简单实现了下,并加入了权重.可采用合适的权重配合算法使用. package main //一致性哈希(Consistent Hashing) //author: Xiong Chuan Liang //date: 2015-2-20 import ( "fmt" "hash/crc32" "sort" "strconv" "sync" ) const DE

一致性哈希算法和Go语言实现

一致性哈希算法,当我第一次听到这个名字的时候,感觉特别高深.而它往往会和分布式系统相关,准确的说,是分布式缓存. 在Web服务中,缓存是介于数据库和服务端程序之间的一个东西.在网站的业务还不是很大的时候,一般不会需要这个东西,每次都可以从数据库中查询获得数据,但是随着网站的访问量增大,每次请求都访问数据库的话,数据库的压力就会非常大,导致响应变慢,于是就需要一种缓存数据库,它们的存储结构一般比较简单,而且它们的数据都是存储在内存中.典型的缓存数据库有Redis,Memcache.有了缓存之后,服

转(一致性哈希算法(consistent hashing))

转自:http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得分布式哈希(DHT)可以在P2P环境中真正得到应用. 一致性hash算法提出了在动态变化的Cache环境中,判定哈希算法好坏的四个定义: 1.平衡性(Balance)

一致性哈希算法原理

一致性Hash算法背景 一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简单哈希算法带来的问题,使得DHT可以在P2P环境中真正得到应用. 但现在一致性hash算法在分布式系统中也得到了广泛应用,研究过memcached缓存数据库的人都知道,memcached服务器端本身不提供分布式cache的一致性,而是由客户端来提供,具体在计算一致性has

一致性哈希算法(consistent hashing)(转)

原文链接:每天进步一点点——五分钟理解一致性哈希算法(consistent hashing) 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得分布式哈希(DHT)可以在P2P环境中真正得到应用. 一致性hash算法提出了在动态变化的Cache环境中,判定哈希算法好坏的四个定义: 1.平衡性(Balance):平衡性是指哈希的

一致性哈希算法

tencent2012笔试题附加题    问题描述: 例如手机朋友网有n个服务器,为了方便用户的访问会在服务器上缓存数据,因此用户每次访问的时候最好能保持同一台服务器.已有的做法是根据ServerIPIndex[QQNUM%n]得到请求的服务器,这种方法很方便将用户分到不同的服务器上去.但是如果一台服务器死掉了,那么n就变为了n-1,那么ServerIPIndex[QQNUM%n]与ServerIPIndex[QQNUM%(n-1)]基本上都不一样了,所以大多数用户的请求都会转到其他服务器,这样

一致性哈希算法及其在分布式系统中的应用(转)

原文:http://blog.codinglabs.org/articles/consistent-hashing.html 本文将会从实际应用场景出发,介绍一致性哈希算法(Consistent Hashing)及其在分布式系统中的应用.首先本文会描述一个在日常开发中经常会遇到的问题场景,借此介绍一致性哈希算法以及这个算法如何解决此问题:接下来会对这个算法进行相对详细的描述,并讨论一些如虚拟节点等与此算法应用相关的话题. 分布式缓存问题 假设我们有一个网站,最近发现随着流量增加,服务器压力越来越

一致性哈希

http://blog.csdn.net/sparkliang/article/details/5279393 比如你有 N 个 cache 服务器(后面简称 cache ),那么如何将一个对象 object 映射到 N 个 cache 上呢,你很可能会采用类似下面的通用方法计算 object 的 hash 值,然后均匀的映射到到 N 个 cache : hash(object)%N 一切都运行正常,再考虑如下的两种情况: 1 一个 cache 服务器 m down 掉了(在实际应用中必须要考虑

五分钟理解一致性哈希算法(consistent hashing)

转载请说明出处:http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得分布式哈希(DHT)可以在P2P环境中真正得到应用. 一致性hash算法提出了在动态变化的Cache环境中,判定哈希算法好坏的四个定义: 1.平衡性(Bal