2016sdcc中国开发者大会参后感(一):亿级数据秒处理架构设计

2016sdcc中国开发者大会参后感

sdcc大会可以理解是中国整个IT行业技术大牛的一个分享会,有幸参加此会,首先要感谢我的好兄弟阿辉,他给我推荐此大会赠我入场券并且督促我参与,真的非常感谢。

sdcc分享会是由csdn从2007年开始每年举办的一次技术嘉年华,邀请行业内近百名技术大牛倾力分享所在公司运用的前沿IT技术,其中大多来自阿里巴巴、京东、腾讯、百度等高科技互
联网公司,其中还一些初创公司的ceo的创业经历的分享。

其实我知道这次去肯定要被虐惨,毕竟我还是知道自己属于哪个层次,但是不管怎么样,既然有机会参与这次分享会,我还是十分乐意去长长见识。

大会总共三天,有四个会场同时进行,分享内容以专题做区分:包含电商架构专题、架构师进阶之路专题、前端开发专题、自动化运维与容器实践专题、高吞吐数据库架构专题、微信开发、
高可用架构、架构演进、移动视频技术实践专题等,我也根据自己的个人感兴趣的内容选择会场参与其中,这篇文章我主要是想给大家分享以下三位老师的演讲的题目(其余老师的内容规格太高,还没完全听懂,正在研究中...)

蚂蚁金服阳振坤老师的“关系数据库的困境与出路”
京东搜索与大数据平台部的王春明老师的“京东搜索架构演进之路”
京东金融-数据库中间件研发高级技术经理王义林的“分布式数据库CDS-原理与实践”

一:亿级数据秒处理架构设计

阳振坤老师主要讲述了阿里OceanBase数据库产生背景和OceanBase的特点,我主要归纳以下内容:

产生背景:阿里业务发展需要,阿里多部门合作共同完成

OceanBase特点:

OceanBase摒弃关系型数据库不紧急的DBMS功能,把有限的资源集中到关键点上

主要解决更新一致性、高性能、跨表读事务、范围查询、join、数据全量及增量的dump、批量数据导入

淘宝目前应用于收藏夹、用户爱好、订单、购物车等信息

OceanBase逻辑架构:

数据分类    存放数据库服务器   存储介质/场景/作用

基准数据    chunkServer      ssd

动态数据    updateServer      内存

合并数据    mergeServer     1用户查询、2动态数据转储形成新的基准数据

RootServe RootServe 了避免软件硬件故障导致的服务中断,RootServer记录commit log并通常采用双机热备

单元过程

冻结 动态数据达到一定规模,停止该块的修改

转储 访问量波谷时(一般是夜间凌晨)持久化到SSD生成新的基准数据

数据合并 合并数据

阿里的秒级峰值14万订单

10GB内存服务于100M记录(约1亿条数据)修改

row key 分段形成表(类似于水平拆分表)

模拟过程:

1部署完成

2最开始: (RootServe资源调度管理)用户进行增删改的数据写入chunkServer内存块,即动态数据存入内存

3数据累计到一定规模,即内存块占用达到一定大小(如:200MB),冻结该内存块,开始写入新内存块(新块满后继续冻结,然后开新块,依此。),即冻结

4用户查询,mergeServer将chunkServer和updateServer查询出来合并成完整数据,返回给用户,即数据合并

5用户修改或删除数据,跟踪updateServer用户数据所在的内存块(全部:冻结中、未冻结)并修改对应数据。

6闲时(夜间)mergeServer将chunkServer中冻结块和updateServer查询出来合并成完整数据,形成新的基准数据并回写到chunkServer服务器的SSD上持久化,即转储

7如此循环处理。

核心总结:OceanBase最重要的架构设计思路是,内存执行CRUD,增量处理,定时更新到SSD持久化存储

GitHub源代码地址:https://github.com/alibaba/oceanbase

时间: 2024-10-10 13:55:52

2016sdcc中国开发者大会参后感(一):亿级数据秒处理架构设计的相关文章

几个 Ceph 性能优化的新方法和思路(2015 SH Ceph Day 参后感)

一周前,由 Intel 与 Redhat 在10月18日联合举办了 Shanghai Ceph Day.在这次会议上,多位专家做了十几场非常精彩的演讲.本文就这些演讲中提到的 Ceph性能优化方面的知识和方法,试着就自己的理解做个总结. 0. 常规的 Ceph 性能优化方法 (1). 硬件层面 硬件规划:CPU.内存.网络 SSD选择:使用 SSD 作为日志存储 BIOS设置:打开超线程(HT).关闭节能.关闭 NUMA 等 (2). 软件层面 Linux OS:MTU.read_ahead 等

分享第二届中国前端开发者大会与会心得

第二届中国前端开发者大会(FDCon2017)是在上海举办的针对前端技术(HTML5,CSS,JS)的互联网开发者所举办的最盛大和权威的相关技术会议,由技术社区TopGeek主办.汇智Tek联合主办,致力于推动各类前端技术等在移动互联网领域的研发和应用. 随着新一代的前端技术的发展,给前端开发者带来巨大的创新应用实践机会,本大会以“高效前端开发实践和创新”为主题,内容涵盖电商.旅游.门户.搜索.分类广告.移动互联网等多种业态的技术经验分享,涉及各种WEB和APP前端开发技术和架构设计等方法论.

爱加密出席2014移动互联发展大会暨第五届中国手机应用开发者大会

今天上午,2014移动互联发展大会暨(第五届)中国手机应用开发者大会在北京国际饭店隆重开幕.本届大会首获人民日报.国家工信部.文化部.国家网络信息办公室等单位的倾力支持,由中国权威官方的主流媒体"人民网"与全球知名第三方数据挖掘机构"艾媒咨询集团"强强联手鼎力创办.堪称中国历史上规格最高.门类最齐全,首度由国家级官方背景组织的手机应用开发者大会.www.ijiami.cn 大会现场将迎中宣部.国信办.工信部等国家政府高层,著名高校和研究机构,三大运营商,高通.腾讯.

中国java开发者大会完美落幕,奥点云备受关注

由上海最大高端技术社群TopGeek和上海浦东软件园“汇智TEK”技术交流平台联合主办的中国Java开发者大会(JavaCon2016)于2016年5月28日在上海完美落幕.奥点云为本次大会全程提供现场直播,为不在现场的开发者们及时带去了最新的行业资讯. 本次大会的火热程度可谓一票难求.现场大会以“大数据+移动时代的技术创新”为主题,聚焦Java相关技术和多方面的应用.与会人员汇聚互联网行业精英,通过大会的内容分享促进技术交流.推动个人和公司跟上大数据和移动时代的发展节奏.同时,主办方也希望以高

XBox 开发者大会

今天参加了微软的Xbox开发者大会,虽然没我什么事情,不过还是有不少的收获,随便说说自己的一点感受吧. 先上几张图,附带妹子一个,不过手机不清楚哈,~~ 1 [email protected]开发者计划与独立游戏开发者 微软XBOX从开始进入中国那一刻起,就同时启动了开发者计划,今天数据提到从8月份到10月总共收到300(内地还是全球忘记了)多份申请书.对于开发者,微软除了在2台开发主机.技术资料.社区.推广等帮助外,还会面向独立开发着提供场地.资金.宣传等等,让人听起来很有诱惑力. 活动开始的

2018中国开源大会

Open Source这个词在1998年初次被提出来,至今开源已经被提出20年 .2018年中国开源大会于10.20~21日在深圳举行,这是一次开源的盛会.这次大会由OSI中国成员"开源社"主办,参会的企业包含国内很多的大厂,还邀请了不少国外积极参与开源的机构.这两天了解了很多开源协作平台以及各种出色的开源框架.大会举行两天,在上午在主会场大咖上演各种科普,下午分设4个分会场无间断开展不同的主题演讲.由于主题太多了,不能一一到场,只能对参见的场次做个简单的说明吧.以开源机构属性和主题内

2014.10.23安卓全球开发者大会经历

2014.10.23安卓全球开发者大会经历 by 伍雪颖 2014.10.23 2014安卓全球开发者大会 作为一个程序员,怀着激动的心情,大老远的从深圳南山赶到福田香格里拉酒店,听了一天后其实是很失望地回来的: 1.中国分几个区同时进行,就深圳区是免费入场的,所以深圳区的活动质量是最差的 2.全场在做广告的偏多 3.挂着"安卓全球开发者"的羊头,卖着扯皮的狗肉 4.雷军说好要来的,最后大概意思是深圳都是做广告的,来了没意思 5.说实在的,干货不多 上午赶过去因为半路塞车了,11点多才

重磅邀请函来了!首届“腾讯云+社区开发者大会”免费报名!

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由columneditor发表于云+社区专栏 2018年12月15日,首届"腾讯云+社区开发者大会"即将在北京隆重举行,腾讯云邀请广大开发者共同探讨云端新技术.新能力.届时,腾讯云将邀请超过40位行业内的技术专家,超过1000名开发者参与本次盛会,分享行业经验,沉淀云端技术. 自腾讯组织架构调整后,腾讯向业界释放了什么样的新信号?打通了哪些新场景?连接了哪些新的技术能力呢?而身为开发者的你,又如何在云端新时代中站稳脚跟,一

融云亮相GDG谷歌女性开发者大会 揭秘IMSDK网络优化策略

4 月 20 日,冷雨阻碍不了天津GDG谷歌女性开发者大会的热烈召开,一众开发者.架构师和科技公司创业者云集一堂,就女性开发者的技术.职场.人生多方面话题展开深入探讨.活动由GDG (谷歌开发者社区) 的 Women Tech Leader(WTM)发起并组织,旨在鼓励和促进女性在技术领域的参与.融云作为云通信技术领导者,在大会上就“即时通讯 SDK 的网络优化策略”主题开展演讲,与各界分享多年积累的云通信技术应用经验,同时表达了对全球女性开发者重要地位的支持和鼓励. 作为通信云行业领导企业,融