分表,分库算法

经典案例:

1:在memcache中分key存储。主机分布式选择主机的算法

一:利用crc32散列

    <?php
    //范围:00-63
    function crc_hash(&$keyword,$n=64)
    {
    $hash = crc32($keyword) >> 16 & 0xffff;
    return sprintf("%02s",$hash % $n);
    }
    ?>

二:当用户数量太多(如达到千万级别),数量量太大时,我们会根据用户名username使用hash算法得出0-N的一个数值,将用户信息分散存储到N个表中,如增加用户信息示例代码如下:

    <?php

    function getHash(&$keyword,$n)
    {
    $hash = crc32($keyword) >> 16 & 0xffff;
    return sprintf("%02s",$hash % $n);
    }

    $table = ‘userinfo_‘.getHash($username,100);

    $sql = "insert into {$table} values(....)";

    $db = new models($table);//封装的数据库操作类
    $db->MyInsert($sql);

    ?>

三:

hash算法一般是利用数组实现的,步骤如下:
存元素时:
1.把要存储的元素(value)计算一个hashcode(称为散列),这个就是key。
2.把元素存储到以hashcode为下标的数组中。
3.若此数组下标已经有元素,则使用链表的方式把元素连接起来。

获得元素时:
1.元素(value)计算hashcode。
2.hash表中按hashcode(key)取得元素。
3.若一个key中对应多个元素,则还需匹配是哪个元素。

就这么简单,hash算法由于直接映射数组下标,所以查找算法的时间复杂度来说是O(1)的。不过若计算hashcode的算法不是很好的话,可能
造成一个桶(数组中的一个位置)内有多个元素,而有些桶内一个元素都没有。这样在存、取元素时都需要在桶内进行查找操作,而且造成空间的浪费。所以一个好的hashcode的算法使得任意给定的元素能够均匀地存储在hash表中的每个桶内,显得尤为重要。以下给出一个非常经典的通用散列算法,经过研究人员统计分析过散列程度的。

    unsigned long hashcode(const unsigned char *name)
    {
    unsigned long h=0,g;
    while(*name)
    {
    h=(h<<4) + *name++;
    if(g=h & 0xF0000000)
    h^=g>>24;
    h &=~g;
    }
    return h;
    }

除非你对这个通用散列算法有特殊需求,导致无法满足需要,否则应该使用这个函数。

hash算法确实应用得非常广泛,因为其查找的速度是O(1)的。比如:如今数据的海量存取和高并发访问的需求,造成关系数据库逐渐退出舞台。DB中使用B+树索引提供范围查询,hash(key-value)索引实现点查询。

参考:http://www.dewen.io/q/405/%E6%B1%82mysql+%E5%88%86%E8%A1%A8%E7%9A%84%E6%84%8F%E4%B9%89

  1. <?php
  2. //范围:00-63
  3. function crc_hash(&$keyword,$n=64)
  4. {
  5. $hash = crc32($keyword)>>16&0xffff;
  6. return sprintf("%02s",$hash % $n);
  7. }
  8. ?>
时间: 2024-12-16 08:31:01

分表,分库算法的相关文章

总结下Mysql分表分库的策略及应用

上月前面试某公司,对于mysql分表的思路,当时简要的说了下hash算法分表,以及discuz分表的思路,但是对于新增数据自增id存放的设计思想回答的不是很好(笔试+面试整个过程算是OK过了,因与个人预期的薪酬不太理想而忍痛放弃.),在此再深究下mysql 分表优化之类的设计思路方案.先来闲扯下发文目的: 为什么要分表和分区? 日常开发中我们经常会遇到大表的情况,所谓的大表是指存储了百万级乃至千万级条记录的表.这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情

shrding_jdbc分表分库

请求量太多,一个redis忙不过来----->redis主从复制.哨兵.redis cluster集群...redis本身数据量少,多个redis都拥有全量数据,没毛病.那数据库呢?一个表的数据量太大,分表.一个数据库的数据量太大,分库.如何将数据分到每个表.每个库,并从中获取呢?得有一种策略或者说一种算法(hash取余).进一步的思考,何时才能决定将数据放入到哪个数据库,哪个表呢?sql语句形成之后啊估计得拦截数据的存储和拿取吧(不拦截如何达到控制的目的),所以sharding_jdbc获得了

Sharding-Jdbc实现分表分库

Sharding-Jdbc分表分库LogicTable数据分片的逻辑表,对于水平拆分的数据库(表),同一类表的总称.订单信息表拆分为2张表,分别是t_order_0.t_order_1,他们的逻辑表名为t_order.ActualTable在分片的数据库中真实存在的物理表.即上个示例中的t_order_0.t_order_1.DataNode数据分片的最小单元.由数据源名称和数据表组成,例:test_msg0.t_order_0.配置时默认各个分片数据库的表结构均相同,直接配置逻辑表和真实表对应

重新学习Mysql数据13:Mysql主从复制,读写分离,分表分库策略与实践

一.MySQL扩展具体的实现方式 随着业务规模的不断扩大,需要选择合适的方案去应对数据规模的增长,以应对逐渐增长的访问压力和数据量. 关于数据库的扩展主要包括:业务拆分.主从复制.读写分离.数据库分库与分表等.这篇文章主要讲述数据库分库与分表 (1)业务拆分 在?大型网站应用之海量数据和高并发解决方案总结一二?一篇文章中也具体讲述了为什么要对业务进行拆分. 业务起步初始,为了加快应用上线和快速迭代,很多应用都采用集中式的架构.随着业务系统的扩大,系统变得越来越复杂,越来越难以维护,开发效率变得越

数据库分表分库

产生原因 1.当数据达到了上亿级别单个库使用效率性能是十分低下的,当进行查询等操作时候,也是从根节点去找到子节点然后在找到叶节点 , 数亿条取一条数据 性能就不是很迅速,而且单机的存储量,链接数,并发量,处理能力十分有限. 这个时候数据库就容易遇到了系统瓶颈, 所以为了 降低性能,缩短查询时间,减少数据库的负担,会采取分表分库的方法 . 数据库分表分库思路:水平拆分和垂直拆分 垂直拆分:就是不同的表存储在不同的数据库,按照业务进行独立划分 ,主要通过'列'进行划分,将不常用的字段或者较大的字段拆

Mysql分表分库分析

对于大型的互联网应用,数据库单表的数据量可能达到千万甚至上亿级别,同时面临这高并发的压力.Master-Slave结构只能对数据库的读能力进行扩展,写操作还是集中在Master中,Master并不能无限制的挂接Slave库,如果需要对数据库的吞吐能力进行进一步的扩展,可以考虑采用分库分表的策略. 1.分表 在分表之前,首先要选中合适的分表策略(以哪个字典为分表字段,需要将数据分为多少张表),使数据能够均衡的分布在多张表中,并且不影响正常的查询.在企业级应用中,往往使用org_id(组织主键)做为

分表分库方法总结

案例一: 1,背景:一个地址薄的应用程序,设计的用户量为2亿,统计出每个用户的地址薄为30个左右,整个数据量为60亿,使用mysql数据库 计划分为:1000个表,100个库 2,分库分表代码 ? 1 2 3 4 5 6 7 8 private function getDbNo($email)  {      $m = md5($email);      $n = hexdec(substr($m, 0, 16));      $tableNo = fmod($n, 1000);      $d

关于论坛数据库的设计(分表分库等-转)

关于论坛数据库的设计 文章分类:数据库 一个简单的论坛系统 1:包含下列信息: 2:每天论坛访问量300万左右,更新帖子10万左右. 请给出数据库表结构设计,并结合范式简要说明设计思路. 一. 发帖主题和回复信息存放在一张表,并在这个表中增加user_name字段 对数据库的操作而言,检索数据的性能基本不会对数据造成很大的影响(精确查找的情况下),而对表与表之间的连接却会产生巨大的影响, 特别在有巨量数据的表之间:因此对问题的定位基本可以确定:在显示和检索数据时,尽量减少数据库的连接以及表与表之

Mycat分表分库&amp;nbsp;

一.Mycat介绍 Mycat 是一个开源的分布式数据库系统,是一个实现了 MySQL 协议的的Server,前端用户可以把它看作是一个数据库代理,用 MySQL 客户端工具和命令行访问,而其后端可以用MySQL 原生(Native)协议与多个 MySQL 服务器通信,也可以用 JDBC 协议与大多数主流数据库服务器通信,其核心功能是分表分库,即将一个大表水平分割为 N 个小表,存储在后端 MySQL 服务器里或者其他数据库里. 二.Mycat基础环境搭建 首先需要下载Mycat必需的一些环境:

Mycat分表分库&amp;nbsp;&amp;nbsp;

一.Mycat介绍 Mycat 是一个开源的分布式数据库系统,是一个实现了 MySQL 协议的的Server,前端用户可以把它看作是一个数据库代理,用 MySQL 客户端工具和命令行访问,而其后端可以用MySQL 原生(Native)协议与多个 MySQL 服务器通信,也可以用 JDBC 协议与大多数主流数据库服务器通信,其核心功能是分表分库,即将一个大表水平分割为 N 个小表,存储在后端 MySQL 服务器里或者其他数据库里. 二.Mycat基础环境搭建 首先需要下载Mycat必需的一些环境: