一种基于Qt的可伸缩的全异步C/S架构server实现(一) 综述

本文向大家介绍一种基于Qt的伸缩TCP服务实现。该实现针对C/Sclient-服务集群应用需求而搭建。

连接监听、传输数据、数据处理均在独立的线程池中进行,依据特定任务不同,可安排负责监听、传输、处理的线程数目,从而在高传输负荷、高计算符合上达成取舍。数据处理採用流水线结构。以避免少量客户的密集计算请求影响其它client的处理。

本文相应的代码符合LGPL协议,可直接从https://github.com/goldenhawking/zpserver下载.
也可从http://download.csdn.net/detail/goldenhawking/7461157 下载

一、综述

在很多行业应用中。client-服务架构不可替代。

在client-服务架构下,服务扮演着重要的角色。

本文旨在介绍一种较为通用的服务实现形式。这个形式能够依据详细应用需求灵活配置。从而降低反复开发的时间。该服务实现至少支持下列两种需求。

第一类是转发型服务,主要负责沟通两个client之间的通信,本身不做复杂的处理。这样的服务一般要承受密集的连接,在某些应用中。还要承受沉重的传输负荷。典型的包含即时通信、两个内网之间的视频通信等。

第二类是计算型服务,主要负责接收client的原始数据。处理后把结果返回。

这样的服务一般执行在高性能server上,调用后台的并行计算、异构计算资源。处理后把结果返回给client。这些服务的client数量一般不多。但在某些应用中,当输入输出数据量大时,传输负荷也非常重。

为了满足上述两类需求,服务设计具备例如以下特点。

1、  可灵活设置监听port

2、  监听、传输、处理均在独立的线程池中执行。

3、  可依据须要。灵活设置传输、处理线程的数目。

4、  对某个单一client的处理。不会显著拖慢全部client的响应。

5、  须要支持分布式的集群服务,典型的情况是基于若干物理计算机构成的快速局域网实现进程集群。

6、  可同一时候支持SSL与普通TCP连接。

这些特点决定了本系统的架构设计。

(一)系统结构

服务由下面几个模块组成.

1、  网络传输模块。负责管理用于监听、传输的套接字,并控制数据流在不同线程中流动。

数据收发由一定规模的线程池负责,实现方法全然得益于Qt的线程事件循环。被绑定到某个Qthread上的Qobject对象。其信号-槽事件循环由该线程负责。这样,便可方便的指定某个套接字对象使用的线程。

相同,受惠于Qt的良好封装,直接支持Tcp套接字及SSL套接字。且在执行时可动态调整。(注:编译这个模块须要Qt的SSL支持,即在
configure 时增加  -openssl 选项

2、  任务流水线模块。负责数据的处理。

在计算密集型的应用中,数据处理负荷较重,须要和网络传输划分开。

基于普通线程池的处理模式,也存在队列堵塞的问题——若干个client请求的耗时操作,堵塞了其它client的响应。哪怕其它client的请求非常短时间就能处理完毕。也必须排队等待。採用流水线线程池避免了这个问题。每一个client把须要做的操作进行粒度化,在一个环形的队列中,线程池对单个client,每次仅处理一个粒度单位的任务。单个粒度单位完毕后。该client的剩余任务便被又一次插入到队列尾部。这个机制保证了client的总体延迟较小。

3、  服务集群管理模块。该模块使用了网络传输模块、任务流水线模块的功能,实现了跨进程的server?àserver链路。

在快速局域网中,连接是快速、稳定的。因此,该模块被设计成一种星型无中心网络。随意新增server节点选择现有server集群中的随意一个节点。接入后。通过广播自己主动与其它server节点建立点对点连接。本模块仅仅是提供一个server到server的通信隧道,不负责详细通信内容的解译。对传输内容的控制。由详细应用决定。

4、  数据库管理模块

该模块基于Qt的插件式数据库封装QtSql。

数据库被作为资源管理。支持在多线程的条件下。使用数据库资源。

5、  框架界面。虽然常见的服务执行时表现为一个后台进程。但为了更好的演示server的功能。避免繁琐的配置,还是须要一个图形界面来显示状态、设置參数。

本范例中,界面负责轮训server的各个状态。并设置參数。设置好的參数被存储在一个ini文件里,并在服务开启时载入。

6、应用专有部分模块。上述1-4共四个主要模块均是通用的。

他们互相之间没有形成联系,不过作为一种资源存在于程序的执行时(Runtime)之中。

应用专有部分模块依据详细任务需求,灵活的使用上述资源,以实现功能。在范例代码中,实现了一种点对点的转发机制。演示者虚拟出一些工业设备。以及一些操作员使用的client软件。设备与client软件在成功认证并登录后,须要交换数据。改变这个模块的代码,就可以实现自己的功能。

(二) 设计性能

项目


指标说明


指标值


备注


支持的连接类型


取决于Qt的支持类型


SSL和Plain


执行时同一时候支持两类.


协议


Ipv4 TCP , IPV6 Tcp


设计单进程连接数


在4\8传输线程配置下计算


1024\2048


取决于实际机器的性能和任务形式.


设计集群规模


星型集群的规模受到节点数影响。


100节点,9900个跨server连接。


局域网中的连接数为节点数*(节点数-1)。


设计总用户规模


100节点、每节点2048个用户


20万

下一篇文章,将開始介绍各个模块的设计思路。先给出范例代码的測试编译环境:

1、Ubuntu 14.04 + Qt5.2.1 openSSL 自编译版

2、Win 7 x64 + VCExpress 2013 x64, x86 + Qt 5.2.1 openSSL自编译版

3、Win XP x86 + VC2010Express x86 + Qt5.2.1openSSL自编译版

主要界面:

时间: 2024-10-13 21:01:14

一种基于Qt的可伸缩的全异步C/S架构server实现(一) 综述的相关文章

一种基于Qt的可伸缩的全异步C/S架构服务器实现(一) 综述

本文向大家介绍一种基于Qt的伸缩TCP服务实现.该实现针对C/S客户端-服务集群应用需求而搭建.连接监听.数据传输.数据处理均在独立的线程池中进行,根据特定任务不同,可安排负责监听.传输.处理的线程数目,从而在高传输负荷.高计算符合上达成取舍.数据处理采用流水线结构,以避免少量客户的密集计算请求影响其他客户端的处理.本文对应的代码符合LGPL协议,可直接从https://github.com/goldenhawking/zpserver下载. 也可从http://download.csdn.ne

一种基于Qt的可伸缩的全异步C/S架构server实现(二) 网络传输

二.网络传输模块 模块相应代码命名空间    (namespace ZPNetwork) 模块相应代码存储目录    (\ZoomPipeline_FuncSvr\network) 2.1 模块结构 网络传输模块负责管理监听器,并依据各个传输线程眼下的负荷,把新申请接入的客户套接字描写叙述符引导到最空暇的传输线程中运行"接受连接(Accept)"操作.该模块由例如以下几个类组成. 1.zp_net_Engine类,派生自Qobject.模块的外部接口类.同一时候也是功能管理者.提供了设

一种基于Qt的可伸缩的全异步C/S架构服务器实现(六) 整合各个模块实现功能

在前面的章节中,介绍了网络传输.任务线程池.数据库和集群四个主要功能模块.到现在为止,这些模块都还只是一种资源,没有产生实际的运行效果.对一个具备真实功能的应用来说,需要有一个整合的过程.整合方法很多,这里以典型的客户 -客户通信来举例说明. (一)类结构 1."客户端" 这个概念被抽象为一个节点类st_clientNode,每个客户端连接对应了该类的一个实例.这个类不但存储了有关该连接的所有背景信息(比如聊天程序中的用户名等),还提供了正确解释数据流的代码实现.由于想分开传输层和应用

一种基于Qt的可伸缩的全异步C/S架构服务器实现(三)

三.流水线结构线程池设计 为了无阻塞地实现并发通信及处理,传统的小规模服务器采用每用户一线程的多线程技术,称为"任务伴随者"模式.该模式示意图如下: 然而,当客户端很多时,开启上百组线程,远远超过计算机的物理线程规模,导致大量计算资源浪费在线程上下文切换和环境恢复等维护工作中,有效计算能力显著降低. 在多线程并行计算技术中,能够有效利用CPU物理核心,避免上下文频繁切换的经典模式是线程池模式.系统仅开启与CPU核心数相等的工作线程,形成线程池(ThreadPool).各个任务在队列中排

一种基于Qt的可伸缩的全异步C/S架构服务器实现(流浪小狗,六篇,附下载地址)

本文向大家介绍一种基于Qt的伸缩TCP服务实现.该实现针对C/S客户端-服务集群应用需求而搭建.连接监听.数据传输.数据处理均在独立的线程池中进行,根据特定任务不同,可安排负责监听.传输.处理的线程数目,从而在高传输负荷.高计算符合上达成取舍.数据处理采用流水线结构,以避免少量客户的密集计算请求影响其他客户端的处理.本文对应的代码符合LGPL协议,可直接从https://github.com/goldenhawking/zpserver下载. 也可从http://download.csdn.ne

一种可伸缩的全异步C/S架构服务器实现(二)

二.网络传输模块 模块对应代码命名空间    (namespace ZPNetwork) 模块对应代码存储文件夹    (\ZoomPipeline_FuncSvr\network) 2.1 模块结构 网络传输模块负责管理监听器,并根据各个传输线程目前的负荷,把新申请接入的客户套接字描述符引导到最空闲的传输线程中执行"接受连接(Accept)"操作.该模块由如下几个类组成. 1.zp_net_Engine类,派生自Qobject.模块的外部接口类,同时也是功能管理者.提供了设置监听器.

基于Qt有限状态机人工智能的一种实现及改进方法

基于Qt有限状态机人工智能的一种实现及改进方法 人工智能在今年是一个非常火的方向,当然了,不仅仅是今年,它一直火了很多年,有关人工智能的一些算法层出不穷.人工智能在很多领域都有应用,就拿我熟悉的游戏领域来说吧,一些寻路算法,比如说A*算法(我的<十日驱鬼记>就曾经使用了A*算法进行寻路),还有一些高级的算法,比如说决策树等,都在游戏中得以了广泛的应用.我目前想制作的项目和人工智能也有一定的关系,因此,我这个月开始学习搭建一些简单的人工智能框架. 蒋彩阳原创文章,首发地址:http://blog

基于Qt有限状态机的一种实现方式和完善的人工智能方法

基于Qt有限状态机的一种实现方式和完善的人工智能方法 人工智能在今年是一个非常火的方向,当然了.不不过今年,它一直火了非常多年,有关人工智能的一些算法层出不穷.人工智能在非常多领域都有应用,就拿我熟悉的游戏领域来说吧,一些寻路算法,比方说A*算法(我的<十日驱鬼记>就以前使用了A*算法进行寻路).另一些高级的算法,比方说决策树等.都在游戏中得以了广泛的应用.我眼下想制作的项目和人工智能也有一定的关系,因此.我这个月開始学习搭建一些简单的人工智能框架. 蒋彩阳原创文章,首发地址:http://b

【Qt编程】基于Qt的词典开发系列--后序

从去年八月份到现在,总算完成了词典的编写以及相关技术文档的编辑工作.从整个过程来说,文档的编写比程序的实现耗费的时间更多.基于Qt的词典开发系列文章,大致包含了在编写词典软件过程中遇到的技术重点与难点.每篇文章都完成了一个小的功能,所给的代码都基本上是可以独立运行的.本系列文章对于想要自己动手完成词典软件的程序员来说具有很好的参考价值,对于想要编写其它软件的人来说也具有参考意义. 词典软件制作的初衷 在2013的年终总结中,我提过想要学习一门界面编程语言,后来就选中了Qt.于是在2014年上半年