XCode v8.11 重量级分表分库(无视海量数据)

XCode天生就有分表分库功能,设计于2005年!
历时9年,这是分表分库功能第一次针对性正式更新。

在XCode里面,分表分库非常简单,在操作数据(查询/更新)前修改Meta.ConnName/Meta.TableName,指向别的连接字符串和表名,就实现了分表分库功能!
实际上,XCode实体层构建数据操作SQL(Select/Insert/Update/Delete)时,依赖于Meta.TableName,执行SQL时,依赖于Meta.ConnName。所以,修改这两个即可实现数据操作的重定向!
为了避免多线程误伤以及混乱,这两个属性的修改,都是仅对本线程有效!

实例代码如下:

var entity = User.FindByID(1);
entity.Account = "大石头" + DateTime.Now;
User.Meta.ProcessWithSplit(null, "User2", () => entity.Insert());
using (var sp = User.Meta.CreateSplit(null, "User3"))
{
    entity.Insert();
}

这里展示了两种分表分库的用法!
新增加的两个API是ProcessWithSplit和CreateSplit,前两个参数就是ConnName和TableName,意思是在目标连接/表名上进行数据库操作。
这两个API都具有连接名表名还原功能,也就是说,执行完目标数据操作代码以后,连接名和表名要还原回来当前状态。

执行日志如下:

03:38:28.996 9 N - Select * From [User] Order By ID Desc
03:38:29.038 9 N - 完成更新缓存(第1次):NewLife.CommonEntity.User
03:38:29.118 9 N - 检查实体NewLife.CommonEntity.User的数据表架构,模式:CheckTableWhenFirstUse
03:38:29.208 9 N - 创建表:User2(用户)
03:38:29.225 9 N - Create Table User2(
    ID int IDENTITY(1,1) Primary Key,
    Account nvarchar(50) NULL,
    Password nvarchar(50) NULL,
    IsAdmin bit NULL,
    IsEnable bit NULL
)
03:38:29.234 9 N - EXEC dbo.sp_addextendedproperty @name=N‘MS_Description‘, @value=N‘用户‘ , @level0type=N‘SCHEMA‘,@level0name=N‘dbo‘, @level1type=N‘TABLE‘,@level1name=N‘User2‘
03:38:29.241 9 N - EXEC dbo.sp_addextendedproperty @name=N‘MS_Description‘, @value=N‘编号‘ , @level0type=N‘SCHEMA‘,@level0name=N‘dbo‘, @level1type=N‘TABLE‘,@level1name=N‘User2‘, @level2type=N‘COLUMN‘,@level2name=N‘ID‘
03:38:29.250 9 N - EXEC dbo.sp_addextendedproperty @name=N‘MS_Description‘, @value=N‘账号‘ , @level0type=N‘SCHEMA‘,@level0name=N‘dbo‘, @level1type=N‘TABLE‘,@level1name=N‘User2‘, @level2type=N‘COLUMN‘,@level2name=N‘Account‘
03:38:29.256 9 N - EXEC dbo.sp_addextendedproperty @name=N‘MS_Description‘, @value=N‘密码‘ , @level0type=N‘SCHEMA‘,@level0name=N‘dbo‘, @level1type=N‘TABLE‘,@level1name=N‘User2‘, @level2type=N‘COLUMN‘,@level2name=N‘Password‘
03:38:29.262 9 N - EXEC dbo.sp_addextendedproperty @name=N‘MS_Description‘, @value=N‘是否管理员‘ , @level0type=N‘SCHEMA‘,@level0name=N‘dbo‘, @level1type=N‘TABLE‘,@level1name=N‘User2‘, @level2type=N‘COLUMN‘,@level2name=N‘IsAdmin‘
03:38:29.267 9 N - EXEC dbo.sp_addextendedproperty @name=N‘MS_Description‘, @value=N‘是否启用‘ , @level0type=N‘SCHEMA‘,@level0name=N‘dbo‘, @level1type=N‘TABLE‘,@level1name=N‘User2‘, @level2type=N‘COLUMN‘,@level2name=N‘IsEnable‘
03:38:29.273 9 N - Create Unique Index IX_User2_Account On User2 (Account)
03:38:29.280 9 N - select rows from sysindexes where id = object_id(‘User2‘) and indid in (0,1)
03:38:29.290 9 N - 开始初始化User用户数据……
03:38:29.299 9 N - Select Count(*) From User2 Where Account=N‘admin‘
03:38:29.319 9 N - SET NOCOUNT ON;Insert Into User2(Account, Password, IsAdmin, IsEnable) Values(N‘admin‘, N‘21232F297A57A5A743894A0E4A801FC3‘, 1, 1);Select SCOPE_IDENTITY()
03:38:29.330 9 N - 完成初始化User用户数据!
03:38:29.333 9 N - Select * From User2 Where Account=N‘大石头2014/6/16 3:38:29‘ Order By ID Desc
03:38:29.342 9 N - SET NOCOUNT ON;Insert Into User2(Account, Password, IsAdmin, IsEnable) Values(N‘大石头2014/6/16 3:38:29‘, N‘21232F297A57A5A743894A0E4A801FC3‘, 1, 1);Select SCOPE_IDENTITY()
03:38:29.354 9 N - 检查实体NewLife.CommonEntity.User的数据表架构,模式:CheckTableWhenFirstUse
03:38:29.381 9 N - 创建表:User3(用户)
03:38:29.383 9 N - Create Table User3(
    ID int IDENTITY(1,1) Primary Key,
    Account nvarchar(50) NULL,
    Password nvarchar(50) NULL,
    IsAdmin bit NULL,
    IsEnable bit NULL
)
03:38:29.390 9 N - EXEC dbo.sp_addextendedproperty @name=N‘MS_Description‘, @value=N‘用户‘ , @level0type=N‘SCHEMA‘,@level0name=N‘dbo‘, @level1type=N‘TABLE‘,@level1name=N‘User3‘
03:38:29.395 9 N - EXEC dbo.sp_addextendedproperty @name=N‘MS_Description‘, @value=N‘编号‘ , @level0type=N‘SCHEMA‘,@level0name=N‘dbo‘, @level1type=N‘TABLE‘,@level1name=N‘User3‘, @level2type=N‘COLUMN‘,@level2name=N‘ID‘
03:38:29.401 9 N - EXEC dbo.sp_addextendedproperty @name=N‘MS_Description‘, @value=N‘账号‘ , @level0type=N‘SCHEMA‘,@level0name=N‘dbo‘, @level1type=N‘TABLE‘,@level1name=N‘User3‘, @level2type=N‘COLUMN‘,@level2name=N‘Account‘
03:38:29.407 9 N - EXEC dbo.sp_addextendedproperty @name=N‘MS_Description‘, @value=N‘密码‘ , @level0type=N‘SCHEMA‘,@level0name=N‘dbo‘, @level1type=N‘TABLE‘,@level1name=N‘User3‘, @level2type=N‘COLUMN‘,@level2name=N‘Password‘
03:38:29.412 9 N - EXEC dbo.sp_addextendedproperty @name=N‘MS_Description‘, @value=N‘是否管理员‘ , @level0type=N‘SCHEMA‘,@level0name=N‘dbo‘, @level1type=N‘TABLE‘,@level1name=N‘User3‘, @level2type=N‘COLUMN‘,@level2name=N‘IsAdmin‘
03:38:29.420 9 N - EXEC dbo.sp_addextendedproperty @name=N‘MS_Description‘, @value=N‘是否启用‘ , @level0type=N‘SCHEMA‘,@level0name=N‘dbo‘, @level1type=N‘TABLE‘,@level1name=N‘User3‘, @level2type=N‘COLUMN‘,@level2name=N‘IsEnable‘
03:38:29.425 9 N - Create Unique Index IX_User3_Account On User3 (Account)
03:38:29.431 9 N - select rows from sysindexes where id = object_id(‘User3‘) and indid in (0,1)
03:38:29.440 9 N - 开始初始化User用户数据……
03:38:29.442 9 N - Select Count(*) From User3 Where Account=N‘admin‘
03:38:29.446 9 N - SET NOCOUNT ON;Insert Into User3(Account, Password, IsAdmin, IsEnable) Values(N‘admin‘, N‘21232F297A57A5A743894A0E4A801FC3‘, 1, 1);Select SCOPE_IDENTITY()
03:38:29.452 9 N - 完成初始化User用户数据!
03:38:29.455 9 N - Select * From User3 Where Account=N‘大石头2014/6/16 3:38:29‘ Order By ID Desc
03:38:29.462 9 N - SET NOCOUNT ON;Insert Into User3(Account, Password, IsAdmin, IsEnable) Values(N‘大石头2014/6/16 3:38:29‘, N‘21232F297A57A5A743894A0E4A801FC3‘, 1, 1);Select SCOPE_IDENTITY()

日志中可以看到,第一次分表到User2时,XCode发现User2表不存在,马上开动反向工程来创建一张一模一样的表。该操作无视配置文件中关于反向工程的配置,即使配置关闭反向工程,这里仍然有效。
我们还看到,User2表也进行了数据初始化,实体类User.InitData里面检测数据表是否有数据,如果没有,则自动添加一条。
所以,数据初始化是表级有效,而不是实体类级别有效。
在Insert User2之前,有一次根据Account的查询,但是我们代码里面并没有这一次查询,怎么回事?
原来,Account是唯一索引,XCode的Valid会自动检查,在数据插入到数据库之前提前报警,而不是等待数据库报错。
同样,User3也经历了这个过程!

分表分库,可以让我们根据业务需要(一般是时间),把不同数据分散在不同数据库和不同数据表中。
因此,XCode能够让你的系统完全无视海量数据,完全无视性能!(分表后单表性能提升)

当然,分表分库的根基是反向工程,没有它,你只能自己手工建立数据库和数据表!
我们相信,XCode的分表分库功能在当下的数据映射框架中是独一无二的!

End.

XCode v8.11 重量级分表分库(无视海量数据),布布扣,bubuko.com

时间: 2024-10-06 01:09:54

XCode v8.11 重量级分表分库(无视海量数据)的相关文章

分表分库方法总结

案例一: 1,背景:一个地址薄的应用程序,设计的用户量为2亿,统计出每个用户的地址薄为30个左右,整个数据量为60亿,使用mysql数据库 计划分为:1000个表,100个库 2,分库分表代码 ? 1 2 3 4 5 6 7 8 private function getDbNo($email)  {      $m = md5($email);      $n = hexdec(substr($m, 0, 16));      $tableNo = fmod($n, 1000);      $d

关于论坛数据库的设计(分表分库等-转)

关于论坛数据库的设计 文章分类:数据库 一个简单的论坛系统 1:包含下列信息: 2:每天论坛访问量300万左右,更新帖子10万左右. 请给出数据库表结构设计,并结合范式简要说明设计思路. 一. 发帖主题和回复信息存放在一张表,并在这个表中增加user_name字段 对数据库的操作而言,检索数据的性能基本不会对数据造成很大的影响(精确查找的情况下),而对表与表之间的连接却会产生巨大的影响, 特别在有巨量数据的表之间:因此对问题的定位基本可以确定:在显示和检索数据时,尽量减少数据库的连接以及表与表之

.NETCore 下支持分表分库、读写分离的通用 Repository

首先声明这篇文章不是标题党,我说的这个类库是 FreeSql.Repository,它作为扩展库现实了通用仓储层功能,接口规范参数 abp vnext,定义和实现基础的仓储层(CURD). 安装 dotnet add package FreeSql.Repository 定义 var fsql = new FreeSql.FreeSqlBuilder() .UseConnectionString(FreeSql.DataType.Sqlite, @"Data Source=|DataDirect

数据库分表分库

产生原因 1.当数据达到了上亿级别单个库使用效率性能是十分低下的,当进行查询等操作时候,也是从根节点去找到子节点然后在找到叶节点 , 数亿条取一条数据 性能就不是很迅速,而且单机的存储量,链接数,并发量,处理能力十分有限. 这个时候数据库就容易遇到了系统瓶颈, 所以为了 降低性能,缩短查询时间,减少数据库的负担,会采取分表分库的方法 . 数据库分表分库思路:水平拆分和垂直拆分 垂直拆分:就是不同的表存储在不同的数据库,按照业务进行独立划分 ,主要通过'列'进行划分,将不常用的字段或者较大的字段拆

Mysql分表分库分析

对于大型的互联网应用,数据库单表的数据量可能达到千万甚至上亿级别,同时面临这高并发的压力.Master-Slave结构只能对数据库的读能力进行扩展,写操作还是集中在Master中,Master并不能无限制的挂接Slave库,如果需要对数据库的吞吐能力进行进一步的扩展,可以考虑采用分库分表的策略. 1.分表 在分表之前,首先要选中合适的分表策略(以哪个字典为分表字段,需要将数据分为多少张表),使数据能够均衡的分布在多张表中,并且不影响正常的查询.在企业级应用中,往往使用org_id(组织主键)做为

SpringMVC学习系列(11) 之 表单标签

本篇我们来学习Spring MVC表单标签的使用,借助于Spring MVC提供的表单标签可以让我们在视图上展示WebModel中的数据更加轻松. 一.首先我们先做一个简单了例子来对Spring MVC表单表单标签的使用有一个大致的印象,然后再结合例子对各个标签介绍一下如何使用. 1.首先,在com.demo.web.models包中添加一个模型TagsModel内容如下: package com.demo.web.models; import java.util.List; import ja

HTML基础教程(11)——HTML表单--

HTML 表单用于搜集不同类型的用户输入. 实例 文本域(Text fields) 本例演示如何在 HTML 页面创建文本域.用户可以在文本域中写入文本. 密码域 本例演示如何创建 HTML 的密码域. (可以在本页底端找到更多实例.) 表单 表单是一个包含表单元素的区域. 表单元素是允许用户在表单中(比如:文本域.下拉列表.单选框.复选框等等)输入信息的元素. 表单使用表单标签(<form>)定义. <form> <input> <input> </

GitLab v8.11.5 发布,代码托管平台

GitLab v8.11.5 发布了. 该版本主要改进如下: - Optimize branch lookups and force a repository reload for Repository#find_branch - Fix member expiration date picker after update - Fix suggested colors options for new labels in the admin area. !6138 - Fix GitLab imp

Oracle基础知识笔记(11) 建表、更新、查询综合练习

有某个学生运动会比赛信息的数据库,保存了如下的表: 运动员sporter(运动员编号sporterid,运动员姓名name,运动员性别sex,所属系号department) 项目item(项目编号itemid,项目名称itemname,项目比赛地点location) 成绩grade(运动员编号id,项目编号itemid,积分mark) 请用SQL语句完成如下功能: 1.  建表,并在相应字段上增加约束: 定义各个表的主键和外键约束: 运动员的姓名和所属系别不能为空: 积分要第为空值,要么为6,4