跨语言通信方案的比较—Thrift、Protobuf和Avro

常用的跨语言通信方案:

  • 基于SOAP消息格式的WebService
  • 基于JSON消息格式的RESTful 服务

以上两种方案的弊端:

  • XML体积太大,解析性能极差
  • JSON体积相对较小,解析相对较快,但表达能力较弱

现在比较流行的跨语言通信方案:

thrift :是由 Facebook 主导开发的一个跨平台、支持多语言的,通过定义 IDL 文件,自动生成 RPC 客户端与服务端通信代码的工具,以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程语言间无缝结合的、高效的服务。Thrift通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型,然后通过一个编译器生成不同语言的代码并由生成的代码负责RPC协议层和传输层的实现。

protocol buffer 是一种序列化与结构化数据的一种机制,具有跨平台、解析速度快、序列化数据体积小、扩展性高、使用简单的特点。

Apache Avro 是一个二进制的数据序列化系统。实际上 Avro 除了序列化之外,像 MP 一样也提供了远程调用( RPC )功能。 Avro 是属于 Hadoop 的一个子项目,由 Hadoop 的 创始人 Doug Cutting 牵头开发,设计用于支持大批量数据交换的应用,依赖模式 (Schema) 来实现数据结构定义,模式由 JSON 对象来表示, Avro 也被作为一种 RPC 框架来使用。客户端希望同服务器端交互时,就需要交换双方通信的协议,它类似于模式,需要双方来定义,在 Avro 中被称为消息 (Message) 。通信双方都必须保持这种协议,以便于解析从对方发送过来的数据,这也就是传说中的握手阶段。

 

性能对比 由于thrift功能较protobuf丰富手机html制作,因此单从序列化机制上进行性能比较,手机html制作按照序列化后字节数、序列化时间、反序列化时间三个指标进行手机html制作,对thrift的二进制、压缩、protobuf三种格式进行对比发现:Protobuf序列化后的字节数较少,符合w3c标准而且序列化和反序列化的时间也较短.

protocol buffer 是一种序列化与结构化数据的一种机制wap前端外包,具有跨平台、解析速度快、序列化数据体积小、扩展性高、使用简单的特点.

protobuf thrift 功能特性 主要是一种序列化机制 提供了全套RPC解决方案,wap前端外包包括序列化机制、传输层、并发处理框架等 支持语言 C++/Java/Python C++手机前端外包, Java,div+css外包 Python兼职手机网页制作, Ruby,html制作外包 Perl手机html制作, PHP,手机html制作 C#手机html制作, Erlang,手机html制作 Haskell 易用性 语法类似wap前端外包,使用方式等类似 生成代码的质量 可读性都还过得去,网页外包接活执行效率另测 升级时版本兼容性 均支持向后兼容和向前兼容 学习成本 功能单一(不适合复杂应用)手机前端外包,容易学习 功能丰富、学习成本高 文档&社区 官方文档较为丰富,div+css外包google搜索protocol buffer有2000W+结果兼职手机网页制作,google group被墙不能访问 官方文档较少,兼职手机网页制作没有API文档手机html制作,google搜索apache thrift仅40W结果,web前端报价邮件列表不怎么活跃

Apache Avro 是一个二进制的数据序列化系统.实际上 Avro 除了序列化之外手机html制作,像 MP 一样也提供了远程调用( RPC )功能. Avro 是属于 Hadoop 的一个子项目,手机html制作由 Hadoop 的 创始人 Doug Cutting 牵头开发wap前端外包,设计用于支持大批量数据交换的应用,wap前端外包依赖模式 (Schema) 来实现数据结构定义手机前端外包,模式由 JSON 对象来表示,web前端外包 Avro 也被作为一种 RPC 框架来使用.客户端希望同服务器端交互时兼职手机网页制作,就需要交换双方通信的协议,兼职手机网页制作它类似于模式手机html制作,需要双方来定义,手机html制作在 Avro 中被称为消息 (Message) .通信双方都必须保持这种协议手机html制作,以便于解析从对方发送过来的数据,符合w3c标准这也就是传说中的握手阶段.

对比三种框架首推的应该是thriftwap前端外包,因为其不仅有对于协议封装和解析的处理,wap前端外包而且有完备的通讯框架的实现手机前端外包,完全封装了底层通讯,div+css外包对于使用者兼职手机网页制作,只要在框架的客户端和服务器接口回调中,html制作外包处理逻辑就可以了.

Google protobuf:

优点

  • 二进制消息,性能好/效率高(空间和时间效率都很不错)
  • proto文件生成目标代码,简单易用
  • 序列化反序列化直接对应程序中的数据类,不需要解析后在进行映射(XML,JSON都是这种方式)
  • 支持向前兼容(新加字段采用默认值)和向后兼容(忽略新加字段),简化升级
  • 支持多种语言(可以把proto文件看做IDL文件)
  • Netty等一些框架集成

缺点

  • 官方只支持C++,JAVA和Python语言绑定
  • 二进制可读性差(貌似提供了Text_Fromat功能)
  • 二进制不具有自描述特性
  • 默认不具备动态特性(可以通过动态定义生成消息类型或者动态编译支持)
  • 只涉及序列化和反序列化技术,不涉及RPC功能(类似XML或者JSON的解析器)

Apache Thrift:

应用

优点

  • 支持非常多的语言绑定
  • thrift文件生成目标代码,简单易用
  • 消息定义文件支持注释
  • 数据结构与传输表现的分离,支持多种消息格式
  • 包含完整的客户端/服务端堆栈,可快速实现RPC
  • 支持同步和异步通信

缺点

  • 和protobuf一样不支持动态特性

Apache Avro:

应用

优点

  • 二进制消息,性能好/效率高
  • 使用JSON描述模式
  • 模式和数据统一存储,消息自描述,不需要生成stub代码(支持生成IDL)
  • RPC调用在握手阶段交换模式定义
  • 包含完整的客户端/服务端堆栈,可快速实现RPC
  • 支持同步和异步通信
  • 支持动态消息
  • 模式定义允许定义数据的排序(序列化时会遵循这个顺序)
  • 提供了基于Jetty内核的服务基于Netty的服务

缺点

  • 只支持Avro自己的序列化格式
  • 语言绑定不如Thrift丰富
时间: 2024-10-25 19:37:59

跨语言通信方案的比较—Thrift、Protobuf和Avro的相关文章

序列化之protobuf与avro对比(Java)

最近在做socket通信中用到了关于序列化工具选型的问题,在调研过程中开始趋向于用protobuf,可以省去了编解码的过程.能够实现快速开发,且只需要维护一份协议文件即可. 但是调研过程中发现了protobuf的一些弊端,比如需要生成相应的文件类,和业务绑定太紧密,所以在看了AVRO之后发现它完美解决了这个问题. 下面记录下对这两种序列化工具的入门与测评. 一.protobuf基本操作 protobuf简介: Protocol Buffers (a.k.a., protobuf) are Goo

跨语言通信框架的比较——Protobuf、Thrift和Avro

一.概述 thrift :是由 Facebook 主导开发的一个跨平台.支持多语言的,通过定义 IDL 文件,自动生成 RPC 客户端与服务端通信代码的工具,以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程语言间无缝结合的.高效的服务.Thrift通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型

Angular通过CORS实现跨域方案

以前有一篇很老的文章网上转了很多,包括现在如果你百度"跨域"这个关键字,前几个推荐的都是"Javascript跨域总结与解决方案".看了一下感觉手段有点陈旧了,有一些比如document.domain还有iframe的解决方案委实"丑陋"一些,感觉不再适用于现在一些项目中. 就拿iframe来说作为一个前端工程师,我极为讨厌iframe这种东西.它不光增加了性能上的高负荷,同时也不利于掌控. 在Angular应用中实现跨域的方式相对简单,基本上通

Jsonp post 跨域方案

近期在项目中遇到这样一问题,关于jsonp跨域问题,get传值是可以的,但post传值死活不行啊,于是网上看了一大堆关于这方面的资料,最终问题得以解决,今天抽空与大家分享下. 说明:http://www.t1.com/index.php 服务端URL当然这是我本地配置的,需要改为自己对应的地址. 客户端代码: <script> $(function(){ var url = 'http://www.t1.com/index.php'; $.ajax({ type: 'post', url: u

前端跨域方案-跨域请求代理(asp.net handler)

现在技术开发偏向于使用统一的接口处理浏览器或者app的http请求. 大家都知道因为浏览器的同源策略的原因 js直接请求webapi 接口会有一些问题,即使做好服务器端的配置 同样会有不少的 问题  并且会有浏览器的兼容性 而使用jsonp 又需要服务器端对返回数据做相关处理 所以考虑考虑使用代理来解决前端跨域请求的问题. 代理程序走asp.net的一般处理程序,来实现前端js请求的接受然后转发到api站点. 关键点: 1.使用url参数的方式传送api接口的站点路径 http://test.m

WebApi跨域方案(转)

一.跨域问题的由来 同源策略:出于安全考虑,浏览器会限制脚本中发起的跨站请求,浏览器要求JavaScript或Cookie只能访问同域下的内容.   正是由于这个原因,我们不同项目之间的调用就会被浏览器阻止.比如我们最常见的场景:WebApi作为数据服务层,它是一个单独的项目,我们的MVC项目作为Web的显示层,这个时候我们的MVC里面就需要调用WebApi里面的接口取数据展现在页面上.因为我们的WebApi和MVC是两个不同的项目,所以运行起来之后就存在上面说的跨域的问题. 二.跨域问题解决原

SpringMvc+AngularJS通过CORS实现跨域方案

什么是跨域请求问题? 这个问题的起因在于现代浏览器默认都会基于安全原因而阻止跨域的ajax请求,这是现代浏览器中必备的功能,但是往往给开发带来不便. 但跨域的需求却一直都在,为了跨域,勤劳勇敢的程序猿们想出了许许多多的方法,例如,jsonP.代理文件等等.但这些做法增加了许多不必要的维护成本,而且应用场景也有许多限制,例如jsonP并非XHR,所以jsonP只能使用GET传递参数. 在移动应用风生水起的如今,托HTML5的福,Mobile Web,甚至Hybird App也逐渐火起来,在本地文件

ajax跨域(跨源)方案之CORS

CORS是一个W3C标准,全称是"跨域资源共享",它允许浏览器向跨源的后端服务器发出ajax请求,从而克服了AJAX只能同源使用的限制. 实现CORS主要依靠后端服务器中响应数据中设置响应头信息返回的. // 在响应行信息里面设置以下内容: Access-Control-Allow-Origin: ajax所在的域名地址 Access-Control-Allow-Origin: www.oldboy.cn # 表示只允许www.oldboy.cn域名的客户端的ajax跨域访问 // *

动手打造自己的跨语言异构模块通信解决方案

目前主流的跨语言异构模块通信方案有很多种,比如: 1.跨语言的RPC调用(Apache Thrift):它是Facebook贡献给Apache基金会的开源项目,旨在构建跨语言平台的通信方案.目前它支持非常多种语言,其中当然包括C/C++和Java.Thrift内置一个语言编译器,可以根据Thrift的语法规范,编译生成指定语言的RPC调用模块,功能也是非常的强大.Thrift的语法规范里面定义了数据类型.数据模块结构,有点类似WebService里面的WSDL文件.通过Thrift,我们就可以实