[转] 支付宝系统架构内部剖析

本文转载于网上的文章 《最全最强解析:支付宝系统架构内部剖析(架构图)》。 最早的出处没有找到,原文作者也未知。 如果你知道请告诉我。

支付宝系统架构概况

典型处理默认

资金处理平台

财务会计

支付清算

核算中心

交易

柔性事务




消息系统



数据分布

数据缓存

支付宝技术产品线

支付宝的开源分布式消息中间件–Metamorphosis(MetaQ)

貌似原发起者离开了阿里,现在这个项目改名为RocketMQ

Metamorphosis (MetaQ) 是一个高性能、高可用、可扩展的分布式消息中间件,类似于LinkedIn的Kafka,具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用 于大吞吐量、顺序消息、广播和日志数据传输等场景,在淘宝和支付宝有着广泛的应用,现已开源。

Metamorphosis是淘宝开源的一个Java消息中间件。关于消息中间件,你应该听说过JMS规范,以及一些开源实现,如ActiveMQ和HornetQ等。Metamorphosis也是其中之一。

Metamorphosis 的起源是我从对linkedin的开源MQ–现在转移到apache的kafka的学习开始的,这是一个设计很独特的MQ系统,它采用pull机制,而 不是一般MQ的push模型,它大量利用了zookeeper做服务发现和offset存储,它的设计理念我非常欣赏并赞同,强烈建议你阅读一下它的设计 文档,总体上说metamorphosis的设计跟它是完全一致的。但是为什么还需要meta呢?

简单概括下我重新写出meta的原因:

1.Kafka是scala写,我对scala不熟悉,并且kafka整个社区的发展太缓慢了。

2.有一些功能是kakfa没有实现,但是我们却需要:事务、多种offset存储、高可用方案(HA)等

3.Meta相对于kafka特有的一些功能:

-文本协议设计,非常透明,支持类似memcached stats的协议来监控broker

-纯Java实现,从通讯到存储,从client到server都是重新实现。

-提供事务支持,包括本地事务和XA分布式事务

-支持HA复制,包括异步复制和同步复制,保证消息的可靠性

-支持异步发送消息

-消费消息失败,支持本地恢复

-多种offset存储支持,数据库、磁盘、zookeeper,可自定义实现支持group commit,提升数据可靠性和吞吐量。

-支持消息广播模式

-一系列配套项目:python客户端、twitter storm的spout、tail4j等。

因此meta相比于kafka的提升是巨大的。meta在淘宝和支付宝都得到了广泛应用,现在每天支付宝每天经由meta路由的消息达到120亿,淘宝也有每天也有上亿的消息量。

Meta适合的应用:

-日志传输,高吞吐量的日志传输本来就是kafka的强项;

-消息广播功能,如广播缓存配置失效;

-数据的顺序同步功能,如mysql binlog复制;

-分布式环境下(broker,producer,consumer都为集群)的消息路由,对顺序和可靠性有极高要求的场景;

-作为一般MQ来使用的其他功能。

原文地址:https://www.cnblogs.com/zhangbing12304/p/8284771.html

时间: 2024-10-13 23:35:26

[转] 支付宝系统架构内部剖析的相关文章

支付宝系统架构内部剖析

本文转载于网上的文章 <最全最强解析:支付宝系统架构内部剖析(架构图)>. 最早的出处没有找到,原文作者也未知. 如果你知道请告诉我. 支付宝系统架构概况 典型处理默认 资金处理平台 财务会计 支付清算 核算中心 交易 柔性事务 消息系统 数据分布 数据缓存 支付宝技术产品线 支付宝的开源分布式消息中间件–Metamorphosis(MetaQ) 貌似原发起者离开了阿里,现在这个项目改名为RocketMQ Metamorphosis (MetaQ) 是一个高性能.高可用.可扩展的分布式消息中间

[转载] 最全最强解析:支付宝系统架构内部剖析(架构图)

支付宝系统架构概况 典型处理默认 资金处理平台 财务会计 支付清算 核算中心 交易 柔性事务 支付宝的开源分布式消息中间件–Metamorphosis(MetaQ) Metamorphosis (MetaQ) 是一个高性能.高可用.可扩展的分布式消息中间件,类似于LinkedIn的Kafka,具有消息存储顺序写.吞吐量大和支持本地和XA事务等特性,适用 于大吞吐量.顺序消息.广播和日志数据传输等场景,在淘宝和支付宝有着广泛的应用,现已开源. Metamorphosis是淘宝开源的一个Java消息

转 最全最强解析:支付宝钱包系统架构内部剖析(架构图)

原文: 最全最强解析:支付宝钱包系统架构内部剖析(架构图) 2015/06/05 支付宝系统架构概况 典型处理默认 资金处理平台 财务会计 支付清算 核算中心 交易 柔性事务 支付宝的开源分布式消息中间件–Metamorphosis(MetaQ) Metamorphosis (MetaQ) 是一个高性能.高可用.可扩展的分布式消息中间件,类似于LinkedIn的Kafka,具有消息存储顺序写.吞吐量大和支持本地和XA事务等特性,适用 于大吞吐量.顺序消息.广播和日志数据传输等场景,在淘宝和支付宝

最全最强解析:支付宝钱包系统架构内部剖析(架构图)

支付宝系统架构概况 典型处理默认 资金处理平台 财务会计 支付清算 核算中心 交易 柔性事务 支付宝的开源分布式消息中间件–Metamorphosis(MetaQ) Metamorphosis (MetaQ) 是一个高性能.高可用.可扩展的分布式消息中间件,类似于LinkedIn的Kafka,具有消息存储顺序写.吞吐量大和支持本地和XA事务等特性,适用 于大吞吐量.顺序消息.广播和日志数据传输等场景,在淘宝和支付宝有着广泛的应用,现已开源. Metamorphosis是淘宝开源的一个Java消息

支付宝钱包系统架构内部

支付宝钱包系统架构内部剖析(架构图) 支付宝系统架构概况 &lt;img class="aligncenter size-full wp-image-160824" src="http://image.woshipm.com/wp-files/2015/06/QQ20150605112628.png" alt="QQ20150605112628" width="592" height="444" /

支付宝系统架构(内部架构图)

支付宝系统架构(内部架构图) 2016-09-11 支付圈 前言 支付宝是中国支付行业的一个标兵,无论是业务能力还是产品创都引领者中国支付行业的前沿,作为支付业务的基础系统的复杂性和稳定性是支付业务是否能够及时快速安全处理的根本,本期支付圈收集了支付宝的系统架构图包含:清算 客服  处理  资金 财务 等等 供其他支付公司进行参考! 本文为网络收集信息,虽然不属于支付宝的最新系统架构信息但是作为支付行业的龙头,架构系统依然值得学习! 支付宝系统架构概况 典型处理默认 资金处理平台 财务会计 支付

电商峰值系统架构设计--转载

1.1 系统架构设计目录 摘要:双11来临之际,<程序员>以“电商峰值系统架构设计”为主题,力邀京东.当当.小米.1号店.海尔商城.唯品会.蘑菇街.麦包包等电商企业,及商派.基调网络等服务公司,分享电商峰值系统架构设计的最佳技术实践. 自2009年11月11日,淘宝商城(现名天猫)拉开网购狂欢节的序幕,各大电商的促销浪潮此起彼伏.此时的电商大战不仅是价格之争,更是技术的较量.如何设计电商峰值系统来更好地满足用户蜂拥而至的访问,如何在海量数据处理中实时发现有效信息并转化为商机,成为众多电商企业密

企业内部IT一体化系列之一:系统架构

有个构想,将企业内部IT的日常运维,管理以及员工服务等日常全部集合和汇总到一起,说起来简单,其实相当复杂,因为自己在之前的公司曾经做过,虽然还未做完,但是构想有了,期待能有机会实施,现在先把可行的成果展示出来,主要是以前技术定级的时候写的ppt的图,凑合看看吧. 平台架构: 这图是微软给的私有云体系,我基本就是照着这个来做的. 下图是我目前整个系统所有的架构: 大概讲解一下: 1:首先整个企业IT统一管理平台需要一个登入的接口,或者说WEB的平台,那么我用SharePoint来做,WFE01,W

大型高并发高负载网站的系统架构剖析

发布:vashon 来自:BudiChina.com 更新:2015-05-20 摘要:一个小型的网站,比如个人网站,可以使用最简单的html静态页面就实现了.随着互联网业务的不断丰富,网站相关的技术经过这些年的发展,已经细分到很细的方方面面,尤其对于大型网站来说,所采用的技术更是涉及面非常广,从硬件到软件.编程语言.数据库.WebServer.防火墙等各个领域都有了很高的要求,已经不是原来简单的html静态网站所能比拟的. 前言 鄙人先后在CERNET做过拨号接入,在Yahoo&3721搞过搜