Thrift 个人实战--Thrift 网络服务模型(转)

前言:
  Thrift作为Facebook开源的RPC框架, 通过IDL中间语言, 并借助代码生成引擎生成各种主流语言的rpc框架服务端/客户端代码. 不过Thrift的实现, 简单使用离实际生产环境还是有一定距离, 本系列将对Thrift作代码解读和框架扩充, 使得它更加贴近生产环境. 本文主要讲解Thrift的高性能网络框架模型, 讲解各种网络模型的特点和区别.

Thrift 高性能网络服务模型
1). TServer类层次体系

TSimpleServer/TThreadPoolServer是阻塞服务模型
TNonblockingServer/THsHaServer/TThreadedSelectotServer是非阻塞服务模型(NIO)

2). TServer抽象类的定义
内部静态类Args的定义, 用于TServer类用于串联软件栈(传输层, 协议层, 处理层)


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

public abstract class TServer {

  public static class Args extends AbstractServerArgs<Args> {

    public Args(TServerTransport transport) {

      super(transport);

    }

  }

  public static abstract class AbstractServerArgs<T extends AbstractServerArgs<T>> {

    public AbstractServerArgs(TServerTransport transport);

    public T processorFactory(TProcessorFactory factory);

    public T processor(TProcessor processor);

    public T transportFactory(TTransportFactory factory);

    public T protocolFactory(TProtocolFactory factory);

  }

}

TServer类定义的抽象类


1

2

3

4

5

6

7

public abstract class TServer {

  public abstract void serve();

  public void stop();

  public boolean isServing();

  public void setServerEventHandler(TServerEventHandler eventHandler);

}

评注:

  抽象函数serve由具体的TServer实例来实现, 而并非所有的服务都需要优雅的退出, 因此stop没有被定义为抽象

3). TSimpleServer
TSimpleServer实现, 正如其名Simple, 其实现非常的简单, 是个单线程阻塞模型, 只适合测试开发使用
抽象的代码可简单描述如下:


1

2

3

4

5

6

7

8

9

10

11

12

13

14

// *) server socket进行监听

serverSocket.listen();

while ( isServing() ) {

  // *) 接受socket链接

  client = serverSocket.accept();

  // *) 封装处理器

  processor = factory.getProcess(client);

  while ( true ) {

    // *) 阻塞处理rpc的输入/输出

    if ( !processor.process(input, output) ) {

      break;   

    }  

  }

}

4). ThreadPoolServer
ThreadPoolServer解决了TSimple不支持并发和多连接的问题, 引入了线程池. 实现的模型是One Thread Per Connection

线程池代码片段:


1

2

3

4

5

6

7

8

9

private static ExecutorService createDefaultExecutorService(Args args) {

  SynchronousQueue<Runnable> executorQueue =

    new SynchronousQueue<Runnable>();

  return new ThreadPoolExecutor(args.minWorkerThreads,

                                args.maxWorkerThreads,

                                60,

                                TimeUnit.SECONDS,

                                executorQueue);

}

评注:
  采用同步队列(SynchronousQueue), 线程池采用能线程数可伸缩的模式.
主线程循环


1

2

3

4

5

6

7

8

9

setServing(true);

while (!stopped_) {

  try {

    TTransport client = serverTransport_.accept();

    WorkerProcess wp = new WorkerProcess(client);

    executorService_.execute(wp);

  } catch (TTransportException ttx) {

  }

}

评注: 
  拆分了监听线程(accept)和处理客户端连接的工作线程(worker), 监听线程每接到一个客户端, 就投给线程池去处理. 这种模型能提高并发度, 但并发数取决于线程数, IO依旧阻塞, 从而限制该服务的服务能力.

5). TNonblockingServer
TNonblockingServer采用NIO的模式, 借助Channel/Selector机制, 采用IO事件模型来处理.


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

private void select() {

  try {

    selector.select();  // wait for io events.

    // process the io events we received

    Iterator<SelectionKey> selectedKeys = selector.selectedKeys().iterator();

    while (!stopped_ && selectedKeys.hasNext()) {

      SelectionKey key = selectedKeys.next();

      selectedKeys.remove();

      if (key.isAcceptable()) {

        handleAccept(); // deal with accept

      } else if (key.isReadable()) {

        handleRead(key);    // deal with reads

      } else if (key.isWritable()) {

        handleWrite(key); // deal with writes

      }

    }

  } catch (IOException e) {

  }

}

评注:

  select代码里对accept/read/write等IO事件进行监控和处理, 唯一可惜的这个单线程处理. 当遇到handler里有阻塞的操作时, 会导致整个服务被阻塞住.

6). THsHaServer
鉴于TNonblockingServer的缺点, THsHa引入了线程池去处理, 其模型把读写任务放到线程池去处理.
HsHa是: Half-sync/Half-async的处理模式, Half-aysnc是在处理IO事件上(accept/read/write io), Half-sync用于handler对rpc的同步处理上.

7). TThreadedSelectorServer
TThreadedSelectorServer是最成熟,也是被业界所推崇的RPC服务模型
TThreadedSelectorServer是对以上NonblockingServer的扩充, 其分离了Accept和Read/Write的Selector线程, 同时引入Worker工作线程池. 它也是种Half-sync/Half-async的服务模型.

总结:

  MainReactor就是Accept线程, 用于监听客户端连接, SubReactor采用IO事件线程(多个), 主要负责对所有客户端的IO读写事件进行处理. 而Worker工作线程主要用于处理每个rpc请求的handler回调处理(这部分是同步的).

问题:

  这边提几个小小的问题, 考考读者?
  1). Java NIO中 Selector采用什么方式实现? c++中的select/poll/epool? 如果是epool的话, 采用的是水平触发,还是边缘触发?
  2). 这边非阻塞模型是HsHa, 有没有全异步的模式? 为何通用的模型是采用TThreadedSelectorServer这种模式呢?
  期待你的回答, 也敬请关注后续的文章.

Thrift 个人实战--Thrift 网络服务模型(转)

时间: 2024-08-30 02:52:54

Thrift 个人实战--Thrift 网络服务模型(转)的相关文章

Thrift 个人实战--Thrift 网络服务模型

前言: Thrift作为Facebook开源的RPC框架, 通过IDL中间语言, 并借助代码生成引擎生成各种主流语言的rpc框架服务端/客户端代码. 不过Thrift的实现, 简单使用离实际生产环境还是有一定距离, 本系列将对Thrift作代码解读和框架扩充, 使得它更加贴近生产环境. 本文主要讲解Thrift的高性能网络框架模型, 讲解各种网络模型的特点和区别. Thrift 高性能网络服务模型1). TServer类层次体系TSimpleServer/TThreadPoolServer是阻塞

Thrift 个人实战--Thrift RPC服务框架日志的优化

前言: Thrift作为Facebook开源的RPC框架, 通过IDL中间语言, 并借助代码生成引擎生成各种主流语言的rpc框架服务端/客户端代码. 不过Thrift的实现, 简单使用离实际生产环境还是有一定距离, 本系列将对Thrift作代码解读和框架扩充, 使得它更加贴近生产环境. 本文讲述RPC服务框架中, 日志的重要性, 以及logid的引入. 日志不仅包含丰富的数据(就看是否会挖掘), 而且还是线上服务问题追踪和排查错误最好的方式. 日志级别 采用大家喜闻乐见的log4j作为该RPC服

Thrift 个人实战--Thrift 服务化 Client的改造

前言: Thrift作为Facebook开源的RPC框架, 通过IDL中间语言, 并借助代码生成引擎生成各种主流语言的rpc框架服务端/客户端代码. 不过Thrift的实现, 简单使用离实际生产环境还是有一定距离, 本系列将对Thrift作代码解读和框架扩充, 使得它更加贴近生产环境. 本文主要讲解thrift的服务化改造, 这边侧重于阐述对client(服务调用方)的改造和设计思想. 基础概念: 传统对client的优化, 主要是Client Manager化, 优化方式包括引入连接池, 支持

Apache Thrift系列详解(二) - 网络服务模型

前言 Thrift提供的网络服务模型:单线程.多线程.事件驱动,从另一个角度划分为:阻塞服务模型.非阻塞服务模型. 阻塞服务模型:TSimpleServer.TThreadPoolServer. 非阻塞服务模型:TNonblockingServer.THsHaServer和TThreadedSelectorServer. TServer类的层次关系: 正文 TServer TServer定义了静态内部类Args,Args继承自抽象类AbstractServerArgs.AbstractServe

Thrift Java实战

官网示例: http://thrift.apache.org/tutorial/java 软件下载: http://thrift.apache.org/download 学习教程: http://jnb.ociweb.com/jnb/jnbJun2009.html Thrift与其他传输方式的比较 xml与JSON相比体积太大,但是xml传统,也不算复杂. json体积较小,新颖,但不够完善. thrift体积超小,使用起来比较麻烦,不如前两者轻便,但是对于1.高并发.2.数据传输量大.3.多语

Thrift 个人实战--初次体验Thrift

前言: Thrift作为Facebook开源的RPC框架, 通过IDL中间语言, 并借助代码生成引擎生成各种主流语言的rpc框架服务端/客户端代码. 不过Thrift的实现, 简单使用离实际生产环境还是有一定距离, 本系列将对Thrift作代码解读和框架扩充, 使得它更加贴近生产环境. 本文主要讲解Thrift的初体验, 使得开发者对thrift有个初步的认识. Thrift 软件栈 Thrift对软件栈的定义非常的清晰, 使得各个组件能够松散的耦合, 针对不同的应用场景, 选择不同是方式去搭建

Thrift 个人实战--RPC服务的发布订阅实现(基于Zookeeper服务)

前言: Thrift作为Facebook开源的RPC框架, 通过IDL中间语言, 并借助代码生成引擎生成各种主流语言的rpc框架服务端/客户端代码. 不过Thrift的实现, 简单使用离实际生产环境还是有一定距离, 本系列将对Thrift作代码解读和框架扩充, 使得它更加贴近生产环境. 本文讲述如何借用zookeeper来实现中介角色, 使得服务端和客户端解耦, 并让RPC服务平台化发展. 基础架构: RPC服务往平台化的方向发展, 会屏蔽掉更多的服务细节(服务的IP地址集群, 集群的扩容和迁移

Thrift 个人实战--初次体验Thrift(转)

前言: Thrift作为Facebook开源的RPC框架, 通过IDL中间语言, 并借助代码生成引擎生成各种主流语言的rpc框架服务端/客户端代码. 不过Thrift的实现, 简单使用离实际生产环境还是有一定距离, 本系列将对Thrift作代码解读和框架扩充, 使得它更加贴近生产环境. 本文主要讲解Thrift的初体验, 使得开发者对thrift有个初步的认识. Thrift 软件栈 Thrift对软件栈的定义非常的清晰, 使得各个组件能够松散的耦合, 针对不同的应用场景, 选择不同是方式去搭建

Thrift RPC实战(三) thrift序列化揭秘

本文主要讲解Thrift的序列化机制, 看看thrift作为数据交换格式是如何工作的? 1.构造应用场景: 1). 首先我们先来定义下thrift的简单结构. 1 2 3 4 5 namespace java com.yangyang.thrift.api struct Pair { ? ? 1: required string key ? ? 2: required string value } required修饰符你肯定能猜测到它的意义, 但是你是否有没有这样的疑惑, "1",