infoq 微信后台存储架构

infoq 上微信后台存储架构 视频很是值得认真一听,大概内容摘要如下:

主要内容:同城分布式强一致,园区级容灾KV存储系统

- sync 序列号发生器
     移动互联网场景下,频繁掉线重连,使用 sync 消息协议是非常理想的。相比于推送协议,更加
可靠、实现简洁(不需要考虑离线消息)。从陌陌分享看,也使用sync机制。

  可靠高效的序号发生器特别重要的,遗憾的是没给讲讲消息的存储机制。

-  一致性hash 实现方式
     
     节点hash 值可能冲突
     快速初始化
     方案:用机器跑出一堆“神奇”数字,分配给节点,预置算好的hash 值,不需要启动时临时计算

- 数据一致性

- bitcask 小表系统

- 通信合包

- 协程 libco

- 错误积累 
     全量扫描,自动修复

infoq 微信后台存储架构

时间: 2024-10-22 02:49:14

infoq 微信后台存储架构的相关文章

微信红包的架构设计简介

@来源于QCon某高可用架构群整理,整理朱玉华. 背景:有某个朋友在朋友圈咨询微信红包的架构,于是乎有了下面的文字(有误请提出,谢谢) 概况:2014年微信红包使用数据库硬抗整个流量,2015年使用cache抗流量. 微信的金额什么时候算? 答:微信金额是拆的时候实时算出来,不是预先分配的,采用的是纯内存计算,不需要预算空间存储.. 采取实时计算金额的考虑:预算需要占存储,实时效率很高,预算才效率低. 实时性:为什么明明抢到红包,点开后发现没有? 答:2014年的红包一点开就知道金额,分两次操作

微信后台技术“干货们”带来的启发

因为持续写作的缘故,因而有了记录.收藏和整理阅读笔记的习惯.之前春节在家休息无事时就顺便整理了下 2016 一年以来收藏的内容和笔记,发现技术内容中收录了好多篇有关微信后台的技术干货文章. 想到去年中时我还写过一篇<技术干货的选择性问题>里面提到五年前我们做 IM,那时腾讯公司在技术上保持神秘而低调,去年的腾讯在技术上表现得非常开放,不仅贡献了不少不错的技术干货文章,也开源了不少它们的基础组件库. 本篇算是我阅读完微信后台技术相关的干货文章后得到的一些启发,如果去年中那篇属于技术干货的选择问题

从无到有:微信后台系统的演进之路

从无到有 2011.1.21 微信正式发布.这一天距离微信项目启动日约为2个月.就在这2个月里,微信从无到有,大家可能会好奇这期间微信后台做的最重要的事情是什么? 我想应该是以下三件事: 1. 确定了微信的消息模型 微信起初定位是一个通讯工具,作为通讯工具最核心的功能是收发消息.微信团队源于广研团队,消息模型跟邮箱的邮件模型也很有渊源,都是存储转发. 消息被发出后,会先在后台临时存储:为使接收者能更快接收到消息,会推送消息通知给接收者:最后客户端主动到服务器收取消息. 2. 制定了数据同步协议

微信红包的架构设计简介{转}

转自https://www.zybuluo.com/yulin718/note/93148 背景:有某个朋友在朋友圈咨询微信红包的架构,于是乎有了下面的文字(有误请提出,谢谢) 概况:2014年微信红包使用数据库硬抗整个流量,2015年使用cache抗流量. 微信的金额什么时候算? 答:微信金额是拆的时候实时算出来,不是预先分配的,采用的是纯内存计算,不需要预算空间存储.. 采取实时计算金额的考虑:预算需要占存储,实时效率很高,预算才效率低. 实时性:为什么明明抢到红包,点开后发现没有? 答:2

C#开发微信门户及应用(47) - 整合Web API、微信后台管理及前端微信小程序的应用方案

在微信开发中,我一直强调需要建立一个比较统一的Web API接口体系,以便实现数据的集中化,这样我们在常规的Web业务系统,Winform业务系统.微信应用.微信小程序.APP等方面,都可以直接调用基于JSON数据格式的Web API接口,在我之前的几篇随笔中,对这方面都有一定的介绍,本篇继续这个主题,细致深入的阐述如何在接口和源码的基础上整合Web API.微信后台管理及前端微信小程序的应用方案. 1.基于Web API的微信开发框架 首先我们各个业务模块,都应该围绕着Web API进行展开,

SFS Store 一种简单应用存储架构

SFS Store 一种简单应用存储架构html{-ms-text-size-adjust:100%;-webkit-text-size-adjust:100%;line-height:1.6}body{-webkit-touch-callout:none;font-family:-apple-system-font,"Helvetica Neue","PingFang SC","Hiragino Sans GB","Microsoft

使用ASP.NET MVC、Rabbit WeixinSDK和Azure快速开发部署微信后台

(此文章同时发表在本人微信公众号"dotNET每日精华文章",欢迎右边二维码来关注.) 题记:公众号后台系统和数据都基本准备妥当了,可以来分享下我是如何开发本微信公众号的后台系统了. 首先说说我对公众号后台的简单需求: 读者可以方便的获取历史文章 可以通过关键字查找文章 可以通过发表日期查找文章 基于这样的需求,也基于我的公众号可用的接口(由于是没有微信认证的订阅号,可用接口少得可怜),故设计了如下的实现方案: 后台用一个数据源保存所有文章的信息,具体的字段包含了微信自动回复所需要的必

微信后台异步消息队列的优化升级实践分享

1.引言 MQ 异步消息队列是微信后台自研的重要组件,广泛应用在各种业务场景中,为业务提供解耦.缓冲.异步化等能力.本文分享了该组件2.0版本的功能特点及优化实践,希望能为类似业务(比如移动端IM系统等)的消息队列设计提供一定的参考. 2.关于分享者 廖文鑫,2013年加入腾讯,从事微信后台基础功能及架构的开发和运营,先后参与了消息通知推送系统.任务队列组件.春晚摇红包活动等项目,在海量分布式高性能系统方面有丰富的经验. 3.背景介绍 微信后台给件 MQ 1.0 发布之初,基本满足了一般业务场景

2018年最新手把手教你搭建中小型互联网公司后台服务架构与运维架构

本课程主要是针对如何从无到有搭建中小型互联网公司后台服务架构和运维架构的课程,课程所涉及的内容均是当前应用最广泛的技术和工具.本课程所讲解的技术体系已经在多个中小型互联网公司中实战运行使用,目前运行已经非常稳定,数据量也是在不断持续增加.并且,这个技术体系也正在被其他很多互联网公司应用,希望通过此课程,让大家能快速熟练掌握各个技术,并且能实际应用到项目中.课程将会通过实际案例讲解,并且会提供完整的视频案例源码供学员学习使用,同时有需要的企业或学员可以直接拿本套教学案例代码来使用或者二次开发. 本