RPC调用框架比较分析--转载

原文地址:http://itindex.net/detail/52530-rpc-%E6%A1%86%E6%9E%B6-%E5%88%86%E6%9E%90

什么是RPC: 
RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。 
简言之,RPC使得程序能够像访问本地系统资源一样,去访问远端系统资源。 
比较关键的一些方面包括,通讯协议,序列化,资源(接口)描述,服务框架,性能,语言支持等。

典型RPC调用框架: 
RPC的实现和调用框架,五花八门,简单介绍其中几种比较典型的。 
RMI实现,利用java.rmi包实现,基于Java远程方法协议(Java Remote Method Protocol) 
和java的原生序列化。 
Hessian,是一个轻量级的remoting onhttp工具,使用简单的方法提供了RMI的功能。 基于HTTP协议,采用二进制编解码。 
protobuf-rpc-pro 是一个Java类库,提供了基于 Google 的 Protocol Buffers 协议的远程方法调用的框架。基于 Netty 底层的 NIO 技术。支持 TCP 重用/ keep-alive、SSL加密、RPC 调用取消操作、嵌入式日志等功能。 
THRIFT是一种可伸缩的跨语言服务的软件框架。它拥有功能强大的代码生成引擎,无缝地支持C + +,C#,Java,Python和PHP和Ruby。thrift允许你定义一个描述文件,描述数据类型和服务接口。依据该文件,编译器方便地生成RPC客户端和服务器通信代码。    
  >>>最初由facebook开发用做系统内个语言之间的RPC通信 。 
  >>>2007年由facebook贡献到apache基金 ,现在是apache下的opensource之一 。 
  >>>支持多种语言之间的RPC方式的通信:php语言client可以构造一个对象,调用相应的服务方法来调用java语言的服务 ,跨越语言的C/S RPC调用 。 
  >>>底层通讯基于SOCKET。 
AVRO,Avro出自Hadoop之父Doug Cutting, 在Thrift已经相当流行的情况下Avro的推出,其目标不仅是提供一套类似Thrift的通讯中间件更是要建立一个新的,标准性的云计算的数据交换和 存储的Protocol。支持HTTP,TCP两种协议。

RPC调用框架的过程原理基本类似,以Thrift为例 
Thrift 协议栈 以及各层的使用(java 为例) 

1、model   interface 
       服务的调用接口以及接口参数model、返回值model 
2、Tprotocol    协议层 
         将数据(model)编码 、解码 。 
3、Ttramsport 传输层 
        编码后的数据传输(简单socket、http) 
5、Tserver 
        服务的Tserver类型,实现了几种rpc调用(多线程、单线程非阻塞IO、多线程非阻塞IO)

RPC调用框架比较

Thrift与protobuf-rpc-pro比较 
1、Another important difference are the languages supported by default.    
protobuf: Java, C++, Python    
Thrift: Java, C++, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk, Ocaml 
支持语言不同,thrift支持着更多的语言 
2、Thrift supports ‘exceptions 。 
   thrift支持服务的异常 。 
3、Protocol Buffers much easier to read 。Protobuf API looks cleaner, though the generated classes are all packed as an inner classes which is not so nice. 
   Protocol Buffers 在文档方面比thrift丰富,而且比thrift简单 。 
4、Protobuf serialized objects are about 30% smaller then Thrift. 
   Protocol Buffers在序列化/反序列化、传输上性能更优 。 
5、RPC is another key difference. Thrift generates code to implement RPC clients and servers wheres Protocol Buffers seems mostly designed as a data-interchange format alone.  
    thrift提供了一套完整的rpc服务实现(多线程socket、单线程非阻塞的socket、多线程非阻塞socket) 
6、And according to the wiki the Thrift runtime doesn‘t run on Windows. 
   thrift 对有些语言在windows上不支持:C++   
摘选自: http://gemantic.iteye.com/blog/1199214 thrift的使用介绍

Apache Avro 与 Thrift 比较 
转自网络, http://www.360doc.com/content/12/0515/08/2716732_211104190.shtml 
文章有比较详细的对比,值得仔细研读。摘部分内容,如下。 
Avro和Thrift都是跨语言,基于二进制的高性能的通讯中间件. 它们都提供了数据序列化的功能和RPC服务. 总体功能上类似,但是哲学不一样. Thrift出自Facebook用于后台各个服务间的通讯,Thrift的设计强调统一的编程接口的多语言通讯框架. Avro出自Hadoop之父Doug Cutting, 在Thrift已经相当流行的情况下Avro的推出,其目标不仅是提供一套类似Thrift的通讯中间件更是要建立一个新的,标准性的云计算的数据交换和 存储的Protocol。 这个和Thrift的理念不同,Thrift认为没有一个完美的方案可以解决所有问题,因此尽量保持一个Neutral框架,插入不同的实现并互相交互。 而Avro偏向实用,排斥多种方案带来的 可能的混乱,主张建立一个统一的标准,并不介意采用特定的优化。Avro的创新之处在于融合了显式,declarative的Schema和高效二进制的 数据表达,强调数据的自我描述,克服了以往单纯XML或二进制系统的缺陷。Avro对Schema动态加载功能,是Thrift编程接口所不具备的,符合 了Hadoop上的Hive/Pig及NOSQL 等既属于ad hoc,又追求性能的应用需求。

目前阶段Thrift比Avro支持的语言更丰富. 
Thrift: C++, C#, Cocoa, Erlang, Haskell, Java, Ocami, Perl, PHP, Python, Ruby, Smalltalk.
Avro: C, C++, Java, Python, Ruby, PHP.

Avro和Thrift处理Schema方法截然不同。 
Thrift是一个面向编程的系统, 完全依赖于IDL->Binding Language的代码生成。 
Avro支持2种方式。Avro-specific方式和Thrift的方式相似,依赖代码生成产生特定的类,并内嵌JSON Schema. Avro-generic方式支持Schema的动态加载,用通用的结构(map)代表数据对象,不需要编译加载直接就可以处理新的数据源。 
Avro的Schema文件有三种格式,依次是avdl,avpr,avsc,后两种是json格式,avdl可以转成avpr。

java -jar avroj-tools.jar idl src/test/idl/input/namespaces.avdl /tmp/namespaces.avpr

关于序列化,avro的机制,有更好的数据的透明度和可操作性,更高的存储效率。 
Thrift提供了多种序列化的实现: 
TCompactProtocol: 最高效的二进制序列化协议,但并不是所有的绑定语言都支持。 
TBinaryProtocol: 缺省简单二进制序列化协议.

RPC服务

Avro提供了 
HttpServer : 缺省,基于Jetty内核的服务. 
NettyServer: 新的基于Netty的服务. 
Thrift提供了: 
TThreadPolServer: 多线程服务 
TNonBlockingServer: 单线程 non blocking的服务 
THsHaServer: 多线程 non blocking的服务

性能测试Benchmarking,两者差相仿佛。

Conclusion 
Thrift适用于程序对程序静态的数据交换,要求schema预知并相对固定。 
Avro在Thrift基础上增加了对schema动态的支持且性能上不输于Thrift。 
Avro显式schema设计使它更适用于搭建数据交换及存储的通用工具和平台,特别是在后台。 
目前Thrift的优势在于更多的语言支持和相对成熟

比较分析结论: 
基于以上三种框架比较分析,个人决定采用AVRO框架。

相关资源

protobuf-rpc-pro-demo-1.1.0及源码 包含在附件中,该文件包中,包含一个1.1.0版本的运行环境(bin,lib中)以及最新3.3版本的demo源码和protobuf-rpc-pro源码。相关代码在官网都可以下载到, http://code.google.com/p/protobuf-rpc-pro/ 
protobuf-rpc-readme,个人的一点总结

thrifttest源码,包含在附件中,该项目包含一个rmi的实现,以及thrift的实现。

Avrotest源码,包含在附件中,该项目包含官网提供的一个数据序列化反序列化的两种实现,SpecificMain,GenericMain;Specific方式的接口调用MailMain*;Generic方式的多接口调用,包含http方式和netty方式,http/,netty/;项目涵盖了三种不同的Schema格式。

时间: 2024-10-12 20:08:44

RPC调用框架比较分析--转载的相关文章

自研发RPC调用框架

自主研发设计RPC远程调用框架,实现服务自动注册,服务发现,远程RPC调用,后续实现服务负载均衡 主要包括:客户端服务,服务端,服务发现,服务注册 github地址:https://github.com/btshoutn/rpc_project 原文地址:https://www.cnblogs.com/shoutn/p/8297345.html

【原创】自己动手实现RPC服务调用框架

自己动手实现rpc服务调用框架 本文利用java自带的socket编程实现了一个简单的rpc调用框架,由两个工程组成分别名为battercake-provider(服务提供者).battercake-consumer(服务调用者). 服务提供者 本部分的工程为battercake-provider,项目结构图如下图所示 先上rpc框架调用部分的代码,RpcProvider,该部分代码可以总结为两步 将需要发布的服务存储在一个内存变量serviceList中 启动socket,server.acc

一个简单RPC框架是如何炼成的(III)——实现带参数的RPC调用

上一篇,我们制定了一个很简单的RPC消息 的格式,但是还遗留了两个问题 我们并没有实现相应的encode和decode方法,没有基于可以跨设备的字符串传输,而是直接的内存变量传递. 现在的RPC request不支持带参数的请求命令.如add(a, b), 如何在RPC消息中描述参数a,b . 我先来实现第二个问题,即带参数的RPC调用. 其实,也没什么太大不同.既然是要带参数,那只能扩展原来的Request消息了,加个parameter成员,用于表示参数,具体的格式采用字典方式,{ 'arg1

RPC框架Dubbo分析

1,背景 随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进 单一应用架构 当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本 此时,用于简化增删改查工作量的 数据访问框架(ORM) 是关键 垂直应用架构 当访问量逐渐增大,单一应用增加机器带来的加速度越来越小,将应用拆成互不相干的几个应用,以提升效率 此时,用于加速前端页面开发的 Web框架(MVC) 是关键 分布式服务

唯品会RPC服务框架与容器化演进--转

原文地址:http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=405781868&idx=1&sn=cbb10d37e25c76a1845f593a222da3c9&scene=0#wechat_redirect 编者按:本文是邱戈川在 3 月 27 日数人云"百万并发"活动的演讲,授权「高可用架构」首发.转载请注明来自高可用架构公众号「ArchNotes」.   邱戈川,唯品会分布式架构平台产品经理

(转)dubbo框架基本分析

原文地址: https://my.oschina.net/zhengweishan/blog/698591 Dubbo架构基本分析 1. dubbo简单介绍 1.1 dubbo是什么 dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案. 其核心部分包含: 远程通讯: 提供对多种基于长连接的NIO框架抽象封装,包括多种线程模型,序列化,以及"请求-响应"模式的信息交换方式. 集群容错: 提供基于接口方法的透明远程过程调用,包括多协议支

闲话RPC调用

原创文章转载请注明出处:@协思, http://zeeman.cnblogs.com 自SOA架构理念提出以来,应用程序间如何以最低耦合度通信的问题便呈现在所有架构师面前. 互联网系统的复杂度让我们不得不大量使用分布式应用,早期通过数据库来交互通信,慢慢地大家发现数据库的耦合是最难解的,并且数据库是最难做负载均衡的,水平拆分,垂直拆分,读写分离让开发的复杂度在不断增加.最终大家发现我们可以把持久化要求不高,结构化程度不强的数据通过分布式缓存.消息队列.NoSQL等一系列手段降低对数据库的依赖,而

Dubbo系列(三)dubbo的核心技术--RPC调用

dubbo的核心技术--RPC调用:分为俩部分RPC协议Protocol和方法调用Invoke: 一.RPC协议Protocol(Remote Procedure Call)远程过程调用协议 1.我们平时使用最多的http协议其实也属于RPC协议,下图分别是普通的传输层TCP和应用层http与dubbo优化后的TCP和dubbo协议进行对比. 总结: 原生的传输层协议(TCP)需要网络三次握手和四次挥手,客户端与服务端的建立链接成本过高,dubbo对TCP进行优化,实现单一长连接,降低网络链接成

给Pomelo的聊天室添加time的RPC调用

为了练手,给聊天应用增加一个rpc调用和一个time类型的服务器,在servers/time/remote/timeRemote.js中,添加如下代码: module.exports.getCurrentTime = function (arg1, arg2, cb) { console.log("timeRemote - arg1: " + arg1+ "; " + "arg2: " + arg2); var d = new Date(); v