RSF 分布式服务框架设计

是时候设计一个分布式服务框架了。我先将它定名为 Hasor-RSF,“RSF”为 Remote Service Framework 的缩写。

RSF的目的是为了提供一种高效的远程服务访问方式,例如“A机器访问在B机器上的一个服务”。当然首先它是运行在Java上的,但是我并不希望 Java 成为 RSF的唯一平台。

它应该是分布式的,就是说服务 A 可能会分布在若干台机器内。 当我的应用打算调用这个服务时我应该可以在这若干服务提供的机器上随机调用。这样做的好处是有助于高并发、高访问、高可用。

RSF 的本质其实就是 RPC 那么我们可以先对比一下 RPC 里都有什么可以被我们拿来选用。下面列出来的只是其中一些我相信聪明的朋友们会列举出更多的解决方案,我也敢保证你们知道的比我还多。

  1. Java原生的 RMI。
  2. Hessian
  3. WebServices
  4. Restful
  5. HTTP Request
  6. RTMP/AMF
  7. 淘宝的 HSF、Dubbo

RMI,这个 Java 原生的东东似乎从一开始就没有被人们所看好,究其原因是速度太慢。但是它的好处是Java原生,使用 RMI 不需要引入其它任何第三方软件包。不过挑剔的同学们似乎不太看好这个优点。

Hessian,原则上说Hessian我并不认为它是一个远程服务框架范畴的东西。我更觉得 Hessian 是一种数据交互格式。就像是 JSON,XML-RPC,AMF,Kryo 一类的东西。Hessian 的优点是大量的兼容平台例如:“IOS、Java、.net、C++、Python、Flash、Ruby、PHP”,其次它的第二个有点是二进制格式。在大对象序列化上会占有很大的优势。

WebServices,一个老牌技术解决方案。在我印象中 WebServices 是跟随着 SOA 这个东西一起出名的,他有一个最大的好处是防火墙穿透。毕竟人家是靠 80 端口吃饭的,牛叉的很。不过话说回来WebServices的最大要害就是,Xml传输格式。把一个对象序列化成为一个Xml数据是一件很容易的事,但是反序列化成本似乎是很高。再加上 SOAP 协议本身是建立在 XML 形式上,这就使得 Web Service 奇慢无比了。当然因素还有很多我就不多说了。

Restful,其实 restful 我更觉得它是一种 API 表述规范。但在社区论坛中讨论看来,restful 的应用似乎也延伸到远程服务的领域。所以有必要说明一下。restful 最初是出现在 web 上,究其本质是还是 HTTP。例如对于:“http://xxxxx/xxxx”这个资源的访问可以利用 HTTP 的“GET、PUT、DELETE”等方法对资源操作加以描述说明。我个人觉得这东西用在 RPC 上并不合适。

HTTP,这是我用过最多的一种远程交互方式。远离很见dna,服务发布者将服务发布成为一个http资源。调用者请求这个http资源。数据传输格式完全程序双方自行协商。这种方法简单除暴行之有效。不过缺点是我们要自己补充通信协议,例如请求参数和响应数据格式。常规的交互格式有 JSON、XML。

RTMP/AMF,这个组合的确是一套很完善的远程调用解决方案。RTMP协议中专门为 Invoke 开辟了一条通道,在配合 AMF 格式极大的方便了 Flash 下远程服务访问。不过这些都是 Flash下的东西,即使是拥有 Red5 这样的神器让我们在 java 下可以使用 rtmp 但是究其目的还是为了和 flash 通信。一般 flash 调用业务系统的方式还都停留在 http 请求或者通过 red5 服务器代为转发。

HSF,这个东西是淘宝内部用的很广泛的远程服务框架。它是使用NIO、Mina 并且工作在长连接模式下。话说这个东西的确是个好东西,淘宝也将其开源了!只可惜,开源了 hsf 但是相关配套依赖没有开源。在加上 hsf 依赖繁杂。这个东西也就只能让局外人膜拜一下,在淘系之外的同学们是无福享受了。

Dubbo,也是淘系的另外一个服务框架,它比较 HSF 来说要轻巧很多。依赖会少一些,这个东东目前也是开源状态。由于我对 dubbo 一点都不了解,在这里保持沉默不做评价。

最后补充一下,真正原生就支持分布式服务调用的也就只有“HSF、Dubbo”至于京东内部是否有更好的解决方案我并不知道。哦还有一点,如果您想脱离 Spring 的话 HSF、Dubbo 会让你失望的。这就是说您的技术构架如果是非 Spring 阵营的会比较悲催。

so,上面提到了很多可用的技术方案,想必最后符合要求也就只有其中 HSF 和 Dubbo 了。为什么其它的方案都不入选呢?原因就是它们虽然可以完成 RPC 但是并不支持分布式。当然您可以通过架设集群来提高它们的可靠性,这些都是您需要额外付出的。

------------------------------

下面这个是 RSF 的架构图,包括服务生产着和消费者在内 RSF 被分为 6 层(网络层、协议层、请求响应层、调度层、接口层、消费者生产者)。

关键5层:

Netty,其中位于最下层的网通信部分 RSF 采用 Netty 实现。Netty 是一款非常优秀的网络通信框架,使用 Netty 可以帮助 RSF 减少大量底层网络上的代码开发。这也就意味着 RSF 将采用 Selector 方式实现异步IO。

Protocol,协议层。该层主要的目的是负责解释翻译 RSF 数据包,并将 RSF 数据包转意成为 Request 和 Response 对象。协议层可以是一个协议栈,这就意味您可以通过 RTMP 、或者其它自定义网络协议传输 RSF 数据包。

Request/Response层,请求响应层。这个在这个层中,RSF 脱离了底层网络方面的特性将每次调用请求对象化为一个 Request 对象,并且将调用结果封装成为一个 Response 对象。这种编程模式和 Web 很像。

调度层,这一层最为复杂。它负责管理本地 RSF 服务的注册,远程传输对象序列化方式的管理,并且还要负责实现其它更加复杂的功能。

接口层,这一层是最终 RSF 暴露给业务系统的接口,将会由两个类提供。一个代表服务生产着,另一个是服务消费者。

序列化格式:

RSF 规定在网络中传输的数据格式可以是任意的。这就意味着您可以使用 AMF 作为 RSF 数据传输格式发布(同时如果协议层支持 RTMP 那您可以在 Flash 中无需通过 red5 这样的中间代理直接访问 RSF 服务)。同样的,如果您使用 Hessian 作为数据传输格式,在其它平台。例如 .net、php。也会很方便的调用 RSF 服务(需要解析 RSF 数据包)。如果协议采用 HTTP,RSF序列化格式采用 JSON ,那么运行在浏览器中的 javascript 也可以绕过 web 服务器,直接访问 RSF 服务。

服务配置Config:

说是服务配置,其实就是路由的功能。先假设我们有4台服务器,其中有两台是位于北京机房,另外两台分别位于青岛和内蒙古。这四台机器上都运行着 RSF,跑着相同的业务系统,这种架构通常前端会有一个 CDN 之类的东西负责让用户就近访问网站。

如果没有服务路由的情况下,用户A在北京即使访问了最近的北京服务器,但是由于调用的 RDS 服务是青岛的,那么也会降低访问速度。因此服务配置所负责的 路由特性可以很方便的高速服务调用程序,优先选用北京机房的 RSF 服务。只有当北京机房的服务撑不住的情况下才会动用其它地域的 RSF 服务。

流量管控:高级一点的特性是可以通过服务路由来控制服务流量。假如目前要做一个全国范围的活动,我们充分的为每个地方准备了若干机器。但是在活动现场很可能某一个地区的服务使用量达到了临界点,服务路由应该可以通过配置的方式让附近地区的机器提供一定的流量来减缓这个地区的访问压力。

时间: 2024-11-06 03:42:08

RSF 分布式服务框架设计的相关文章

分布式服务框架(一)

一.RPC RPC(Remote Process Call),即远程服务调用,被广泛地应用在很多企业应用中,是早期主要的服务治理方案,其流程较为简单,客户端consumer携带参数发送RPC请求到服务提供方provider,provider根据参数路由到具体函数,方法,并将执行获得的结果返回,至此一次RPC调用完成. 随着业务的发展,大数据时代的到来,服务提供方的压力也日益增大,单机应用的处理能力无论在软件,硬件上都受到限制,provider也不可能一直无限扩容,即使扩容,也存在着很多问题,即服

分布式服务框架 Zookeeper -- 管理分布式环境中的数据

安装和配置详解 Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等.本文将 从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Zookeeper 的典型的应用场景(配置文件的管理.集群管理.同步锁.Leader 选举.队列管理等),用 Java 实现它们并给出示例代码. 单机模式 单 机安装非常简单,只要获取

分布式服务框架下,如何做到服务化最佳实践?

“升级服务框架后,性能.可靠性等问题日益明显.服务化之后面临的诸多挑战,怎样分析才能给出实践最优解? 在服务化之前,业务通常都是本地API调用,本地方法调用性能损耗较小.服务化之后,服务提供者和消费者之间采用远程网络通信,增加了额外的性能损耗,业务调用的时延将增大,同时由于网络闪断等原因,分布式调用失败的风险也增大.如果服务框架没有足够的容错能力,业务失败率将会大幅提升. 除了性能.可靠性等问题,跨节点的事务一致性问题.分布式调用带来的故障定界困难.海量微服务运维成本增加等也是分布式服务框架必须

【转】分布式服务框架 Zookeeper -- 管理分布式环境中的数据

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等.本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Zookeeper 的典型的应用场景(配置文件的管理.集群管理.同步锁.Leader 选举.队列管理等),用 Java 实现它们并给出示例代码. 安装和配置详解 本文介绍的 Zookeeper 是以 3

【转】Dubbo是Alibaba开源的分布式服务框架

Dubbo是Alibaba开源的分布式服务框架,它最大的特点是按照分层的方式来架构,使用这种方式可以使各个层之间解耦合(或者最大限度地松耦合).从服务模型的角度来看,Dubbo采用的是一种非常简单的模型,要么是提供方提供服务,要么是消费方消费服务,所以基于这一点可以抽象出服务提供方(Provider)和服务消费方(Consumer)两个角色.关于注册中心.协议支持.服务监控等内容,详见后面描述. 总体架构 Dubbo的总体架构,如图所示: Dubbo框架设计一共划分了10个层,而最上面的Serv

分布式服务框架选型:面对Dubbo,阿里巴巴为什么选择了HSF?

转载:http://www.sohu.com/a/141490021_268033 阿里巴巴集团内部使用的分布式服务框架 HSF(High Speed Framework,也有人戏称"好舒服")已经被很多技术爱好者所熟知,目前已经支撑着近 2000 多个应用的运行. 其对应早期的开源项目 Dubbo(因为某些原因,Dubbo 项目在 2012 年年底,阿里巴巴就停止了对此开源项目的更新),则更是在互联网领域有着非常高的知名度和广泛的使用. 本文通过对阿里巴巴 HSF 服务框架的介绍,让

分布式服务框架:Zookeeper

Zookeeper是一个高性能,分布式的,开源分布式应用协调服务.它提供了简单原始的功能,分布式应用可以基于它实现更高级的服务,比如同步,配置管理,集群管理,名空间.它被设计为易于编程,使用文件系统目录树作为数据模型.服务端跑在java上,提供java和C的客户端API.Zookeeper是Google的Chubby一个开源的实现,是高有效和可靠的协同工作系统,Zookeeper能够用来leader选举,配置信息维护等,在一个分布式的环境中,需要一个Master实例或存储一些配置信息,确保文件写

分布式服务框架 Zookeeper(一)介绍

一.概述 ZooKeeper(动物园管理员),顾名思义,是用来管理Hadoop(大象).Hive(蜜蜂).Pig(小猪)的管理员,同时Apache Hbase.Apache Solr.LinkedIn Sensei等众多项目中都采用了ZooKeeper. ZooKeeper曾是hadoop的正式子项目,后发展成为Apache顶级项目,与Hadoop密切相关但却没有任何依赖.它是一个针对大型应用提供高可用的数据管理.应用程序协调服务的分布式服务框架,基于对Paxos算法的实现,使该框架保证了分布式

阿里巴巴分布式服务框架Dubbo介绍(1)主要特色

引言 互联网服务和BS架构的传统企业软件相比,系统规模上产生了量级的差距.例如 传统BS企业内部门户只需要考虑数百人以及几千人的访问压力,而大型互联网服务有时需要考虑的是千万甚至上亿的用户: 传统企业管理系统管理的物料信息等,可能只有数万或数十万条记录,而一个大型B2C网站的商品SKU动辄千万,考虑到商品信息更新的历史记录,商品订单记录等数据,更是天文数字. 原始的SSH+DB的BS开发模式,显然已经无法满足现代互联网服务的需要.随着企业软件不断地向云端迁移的趋势越来越明显,最终中小型企业软件系