哈希算法

/**
* Hash算法大全<br>
* 推荐使用FNV1算法
* @algorithm None
* @author Goodzzp 2006-11-20
* @lastEdit Goodzzp 2006-11-20
* @editDetail Create
*/
public class HashAlgorithms
{
    /**//**
    * 加法hash
    * @param key 字符串
    * @param prime 一个质数
    * @return hash结果
    */
    public static int additiveHash(String key, int prime)
    {
        int hash, i;
        for (hash = key.length(), i = 0; i < key.length(); i++)
            hash += key.charAt(i);
        return (hash % prime);
    }
    
    /**//**
    * 旋转hash
    * @param key 输入字符串
    * @param prime 质数
    * @return hash值
    */
    public static int rotatingHash(String key, int prime)
    {
        int hash, i;
        for (hash=key.length(), i=0; i<key.length(); ++i)
            hash = (hash<<4)^(hash>>28)^key.charAt(i);
        return (hash % prime);
        //   return (hash ^ (hash>>10) ^ (hash>>20));
    }
    
    // 替代：
    // 使用：hash = (hash ^ (hash>>10) ^ (hash>>20)) & mask;
    // 替代：hash %= prime;

/**//**
    * MASK值，随便找一个值，最好是质数
    */
    static int M_MASK = 0x8765fed1;
    /**//**
    * 一次一个hash
    * @param key 输入字符串
    * @return 输出hash值
    */
    public static int oneByOneHash(String key)
    {
        int   hash, i;
        for (hash=0, i=0; i<key.length(); ++i)
        {
            hash += key.charAt(i);
            hash += (hash << 10);
            hash ^= (hash >> 6);
        }
        hash += (hash << 3);
        hash ^= (hash >> 11);
        hash += (hash << 15);
        //   return (hash & M_MASK);
        return hash;
    }
    
    /**//**
    * Bernstein‘s hash
    * @param key 输入字节数组
    * @param level 初始hash常量
    * @return 结果hash
    */
    public static int bernstein(String key)
    {
        int hash = 0;
        int i;
        for (i=0; i<key.length(); ++i) hash = 33*hash + key.charAt(i);
        return hash;
    }
    
    //
    /**///// Pearson‘s Hash
    // char pearson(char[]key, ub4 len, char tab[256])
    // {
    //   char hash;
    //   ub4 i;
    //   for (hash=len, i=0; i<len; ++i)
    //     hash=tab[hash^key[i]];
    //   return (hash);
    // }
    
    /**///// CRC Hashing，计算crc,具体代码见其他
    // ub4 crc(char *key, ub4 len, ub4 mask, ub4 tab[256])
    // {
    //   ub4 hash, i;
    //   for (hash=len, i=0; i<len; ++i)
    //     hash = (hash >> 8) ^ tab[(hash & 0xff) ^ key[i]];
    //   return (hash & mask);
    // }
    
    /**//**
    * Universal Hashing
    */
    public static int universal(char[]key, int mask, int[] tab)
    {
        int hash = key.length, i, len = key.length;
        for (i=0; i<(len<<3); i+=8)
        {
            char k = key[i>>3];
            if ((k&0x01) == 0) hash ^= tab[i+0];
            if ((k&0x02) == 0) hash ^= tab[i+1];
            if ((k&0x04) == 0) hash ^= tab[i+2];
            if ((k&0x08) == 0) hash ^= tab[i+3];
            if ((k&0x10) == 0) hash ^= tab[i+4];
            if ((k&0x20) == 0) hash ^= tab[i+5];
            if ((k&0x40) == 0) hash ^= tab[i+6];
            if ((k&0x80) == 0) hash ^= tab[i+7];
        }
        return (hash & mask);
    }
    
    /**//**
    * Zobrist Hashing
    */
    public static int zobrist( char[] key,int mask, int[][] tab)
    {
        int hash, i;
        for (hash=key.length, i=0; i<key.length; ++i)
            hash ^= tab[i][key[i]];
        return (hash & mask);
    }
    
    // LOOKUP3
    // 见Bob Jenkins(3).c文件
    
    // 32位FNV算法
    static int M_SHIFT = 0;
    /**//**
    * 32位的FNV算法
    * @param data 数组
    * @return int值
    */
    public static int FNVHash(byte[] data)
    {
        int hash = (int)2166136261L;
        for(byte b : data)
            hash = (hash * 16777619) ^ b;
        if (M_SHIFT == 0)
            return hash;
        return (hash ^ (hash >> M_SHIFT)) & M_MASK;
    }
    /**//**
    * 改进的32位FNV算法1
    * @param data 数组
    * @return int值
    */
    public static int FNVHash1(byte[] data)
    {
        final int p = 16777619;
        int hash = (int)2166136261L;
        for(byte b:data)
            hash = (hash ^ b) * p;
        hash += hash << 13;
        hash ^= hash >> 7;
        hash += hash << 3;
        hash ^= hash >> 17;
        hash += hash << 5;
        return hash;
    }
    /**//**
    * 改进的32位FNV算法1
    * @param data 字符串
    * @return int值
    */
    public static int FNVHash1(String data)
    {
        final int p = 16777619;
        int hash = (int)2166136261L;
        for(int i=0;i<data.length();i++)
            hash = (hash ^ data.charAt(i)) * p;
        hash += hash << 13;
        hash ^= hash >> 7;
        hash += hash << 3;
        hash ^= hash >> 17;
        hash += hash << 5;
        return hash;
    }
    
    /**//**
    * Thomas Wang的算法，整数hash
    */
    public static int intHash(int key)
    {
        key += ~(key << 15);
        key ^= (key >>> 10);
        key += (key << 3);
        key ^= (key >>> 6);
        key += ~(key << 11);
        key ^= (key >>> 16);
        return key;
    }
    /**//**
    * RS算法hash
    * @param str 字符串
    */
    public static int RSHash(String str)
    {
        int b    = 378551;
        int a    = 63689;
        int hash = 0;
        
        for(int i = 0; i < str.length(); i++)
        {
            hash = hash * a + str.charAt(i);
            a    = a * b;
        }
        
        return (hash & 0x7FFFFFFF);
    }
    /**//* End Of RS Hash Function */
    
    /**//**
    * JS算法
    */
    public static int JSHash(String str)
    {
        int hash = 1315423911;
        
        for(int i = 0; i < str.length(); i++)
        {
            hash ^= ((hash << 5) + str.charAt(i) + (hash >> 2));
        }
        
        return (hash & 0x7FFFFFFF);
    }
    /**//* End Of JS Hash Function */
    
    /**//**
    * PJW算法
    */
    public static int PJWHash(String str)
    {
        int BitsInUnsignedInt = 32;
        int ThreeQuarters     = (BitsInUnsignedInt * 3) / 4;
        int OneEighth         = BitsInUnsignedInt / 8;
        int HighBits          = 0xFFFFFFFF << (BitsInUnsignedInt - OneEighth);
        int hash              = 0;
        int test              = 0;
        
        for(int i = 0; i < str.length();i++)
        {
            hash = (hash << OneEighth) + str.charAt(i);
            
            if((test = hash & HighBits) != 0)
            {
                hash = (( hash ^ (test >> ThreeQuarters)) & (~HighBits));
            }
        }
        
        return (hash & 0x7FFFFFFF);
    }
    /**//* End Of P. J. Weinberger Hash Function */
    
    /**//**
    * ELF算法
    */
    public static int ELFHash(String str)
    {
        int hash = 0;
        int x    = 0;
        
        for(int i = 0; i < str.length(); i++)
        {
            hash = (hash << 4) + str.charAt(i);
            if((x = (int)(hash & 0xF0000000L)) != 0)
            {
                hash ^= (x >> 24);
                hash &= ~x;
            }
        }
        
        return (hash & 0x7FFFFFFF);
    }
    /**//* End Of ELF Hash Function */
    
    /**//**
    * BKDR算法
    */
    public static int BKDRHash(String str)
    {
        int seed = 131; // 31 131 1313 13131 131313 etc..
        int hash = 0;
        
        for(int i = 0; i < str.length(); i++)
        {
            hash = (hash * seed) + str.charAt(i);
        }
        
        return (hash & 0x7FFFFFFF);
    }
    /**//* End Of BKDR Hash Function */
    
    /**//**
    * SDBM算法
    */
    public static int SDBMHash(String str)
    {
        int hash = 0;
        
        for(int i = 0; i < str.length(); i++)
        {
            hash = str.charAt(i) + (hash << 6) + (hash << 16) - hash;
        }
        
        return (hash & 0x7FFFFFFF);
    }
    /**//* End Of SDBM Hash Function */
    
    /**//**
    * DJB算法
    */
    public static int DJBHash(String str)
    {
        int hash = 5381;
        
        for(int i = 0; i < str.length(); i++)
        {
            hash = ((hash << 5) + hash) + str.charAt(i);
        }
        
        return (hash & 0x7FFFFFFF);
    }
    /**//* End Of DJB Hash Function */
    
    /**//**
    * DEK算法
    */
    public static int DEKHash(String str)
    {
        int hash = str.length();
        
        for(int i = 0; i < str.length(); i++)
        {
            hash = ((hash << 5) ^ (hash >> 27)) ^ str.charAt(i);
        }
        
        return (hash & 0x7FFFFFFF);
    }
    /**//* End Of DEK Hash Function */
    
    /**//**
    * AP算法
    */
    public static int APHash(String str)
    {
        int hash = 0;
        
        for(int i = 0; i < str.length(); i++)
        {
            hash ^= ((i & 1) == 0) ? ( (hash << 7) ^ str.charAt(i) ^ (hash >> 3)) :
        (~((hash << 11) ^ str.charAt(i) ^ (hash >> 5)));
        }
        
        //       return (hash & 0x7FFFFFFF);
        return hash;
    }
    /**//* End Of AP Hash Function */
    
    /**//**
    * JAVA自己带的算法
    */
    public static int java(String str)
    {
        int h = 0;
        int off = 0;
        int len = str.length();
        for (int i = 0; i < len; i++)
        {
            h = 31 * h + str.charAt(off++);
        }
        return h;
    }
    
    /**//**
    * 混合hash算法，输出64位的值
    */
    public static long mixHash(String str)
    {
        long hash = str.hashCode();
        hash <<= 32;
        hash |= FNVHash1(str);
        return hash;
    }
}

时间： 2024-10-05 18:20:23

哈希算法的相关文章

转（一致性哈希算法(consistent hashing)）

转自:http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得分布式哈希(DHT)可以在P2P环境中真正得到应用. 一致性hash算法提出了在动态变化的Cache环境中,判定哈希算法好坏的四个定义: 1.平衡性(Balance)

一致性哈希算法原理

一致性Hash算法背景 一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简单哈希算法带来的问题,使得DHT可以在P2P环境中真正得到应用. 但现在一致性hash算法在分布式系统中也得到了广泛应用,研究过memcached缓存数据库的人都知道,memcached服务器端本身不提供分布式cache的一致性,而是由客户端来提供,具体在计算一致性has

一致性哈希算法(consistent hashing)（转）

原文链接:每天进步一点点——五分钟理解一致性哈希算法(consistent hashing) 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得分布式哈希(DHT)可以在P2P环境中真正得到应用. 一致性hash算法提出了在动态变化的Cache环境中,判定哈希算法好坏的四个定义: 1.平衡性(Balance):平衡性是指哈希的

MySQL中InnoDB存储引擎中的哈希算法

InnoDB存储引擎使用哈希算法来对字典进行查找,其冲突机制采用链表方式,哈希函数采用除法散列方式.对于缓冲池页的哈希表来说,在缓冲池中的Page页都有一个chain指针.它指向相同哈希函数值的页的.而对于除法散列,m的取值略大于2倍的缓冲池页数量的质数.例如:当前参数innodb_buffer_pool_size的大小为10M,则共有640个16kb的页.对于缓冲池页内存的哈希表来说,需要分配640*2=1280个槽,但是由于1280不是质数,需要取比1280略大的一个质数,应该是1399,所

Simhash相似哈希算法

前言 最近在阅读吴军博士的<<数学之美>>这门书,得到了很多的启发和思考,里面提到了一个概念---信息指纹.一般正常人提到这个概念,第一个想到的词应该是哈希映射算法,将任何对象都映射成一个独立的变量,一般这个变量是一个独有的数字,当然也不排除哈希碰撞的可能行.论单个对象,用哈希算法做一次映射,比较对象是否一致,这固然是可以的,但是如果想用哈希算法做一些文章之间的相似度计算的时候,可能传统的哈希算法就不见得是最佳的选择了,如果把整篇文章都作为一个超长字符串的去计算,准确率无法保证,因

一致性哈希算法

tencent2012笔试题附加题    问题描述: 例如手机朋友网有n个服务器,为了方便用户的访问会在服务器上缓存数据,因此用户每次访问的时候最好能保持同一台服务器.已有的做法是根据ServerIPIndex[QQNUM%n]得到请求的服务器,这种方法很方便将用户分到不同的服务器上去.但是如果一台服务器死掉了,那么n就变为了n-1,那么ServerIPIndex[QQNUM%n]与ServerIPIndex[QQNUM%(n-1)]基本上都不一样了,所以大多数用户的请求都会转到其他服务器,这样

一致性哈希算法及其在分布式系统中的应用（转）

原文:http://blog.codinglabs.org/articles/consistent-hashing.html 本文将会从实际应用场景出发,介绍一致性哈希算法(Consistent Hashing)及其在分布式系统中的应用.首先本文会描述一个在日常开发中经常会遇到的问题场景,借此介绍一致性哈希算法以及这个算法如何解决此问题:接下来会对这个算法进行相对详细的描述,并讨论一些如虚拟节点等与此算法应用相关的话题. 分布式缓存问题 假设我们有一个网站,最近发现随着流量增加,服务器压力越来越

使用再哈希算法查找元素

使用再哈希算法查找元素: /* hash search, using rehash method if find k, return if not find, d=(d+step)%m, rehash find */ int SearchHash(HashTable H, KeyType k) { int d, d1, m; m = H.tableSize; d = d1 = k%m; while(H.data[d].key != -1) { if(H.data[d].key == k) //h

五分钟理解一致性哈希算法(consistent hashing)

转载请说明出处:http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得分布式哈希(DHT)可以在P2P环境中真正得到应用. 一致性hash算法提出了在动态变化的Cache环境中,判定哈希算法好坏的四个定义: 1.平衡性(Bal

openssl evp 哈希算法(md5,sha1,sha256)

1. 简述 openssl提供了丰富密码学工具,一些常用的哈希算法 比如md5,sha 可以直接用提供的md5.h ,sha.h 接口使用: 为了方便开发者使用,openssl 又提供了一个EVP, evp.h 该文件中提供各种常用工具: man evp 可以得知,evp 是openssl 提供的更高一级的密码学工具, 可以理解为对提供的各种接口的一个封装 EVP文件包含的比较多,本次主要说明EVP提供的哈希算法 2. 示例 sha512代码 使用需要导入evp.h //初始化 EVP_MD_C