一种基于Qt的可伸缩的全异步C/S架构服务器实现(流浪小狗,六篇,附下载地址)

本文向大家介绍一种基于Qt的伸缩TCP服务实现。该实现针对C/S客户端-服务集群应用需求而搭建。连接监听、数据传输、数据处理均在独立的线程池中进行,根据特定任务不同,可安排负责监听、传输、处理的线程数目,从而在高传输负荷、高计算符合上达成取舍。数据处理采用流水线结构,以避免少量客户的密集计算请求影响其他客户端的处理。本文对应的代码符合LGPL协议,可直接从https://github.com/goldenhawking/zpserver下载. 也可从http://download.csdn.net/detail/goldenhawking/7461157 下载

一、综述

在许多行业应用中,客户端-服务架构不可替代。在客户端-服务架构下,服务扮演着重要的角色。本文旨在介绍一种较为通用的服务实现形式,这个形式可以根据具体应用需求灵活配置,从而减少重复开发的时间。该服务实现至少支持下列两种需求。

第一类是转发型服务,主要负责沟通两个客户端之间的通信,本身不做复杂的处理。这种服务一般要承受密集的连接,在某些应用中,还要承受沉重的传输负荷。典型的包括即时通信、两个内网之间的视频通信等。

第二类是计算型服务,主要负责接收客户端的原始数据,处理后把结果返回。这种服务一般运行在高性能服务器上,调用后台的并行计算、异构计算资源,处理后把结果返回给客户端。这些服务的客户端数量一般不多,但在某些应用中,当输入输出数据量大时,传输负荷也很重。

为了满足上述两类需求,服务设计具备如下特点。

1、  可灵活设置监听端口

2、  监听、传输、处理均在独立的线程池中运行。

3、  可根据需要,灵活设置传输、处理线程的数目。

4、  对某个单一客户端的处理,不会显著拖慢所有客户端的响应。

5、  需要支持分布式的集群服务,典型的情况是基于若干物理计算机构成的高速局域网实现进程集群。

6、  可同时支持SSL与普通TCP连接。

这些特点决定了本系统的架构设计。

(一)系统结构

服务由以下几个模块组成.

1、  网络传输模块。负责管理用于监听、传输的套接字,并控制数据流在不同线程中流动。数据收发由一定规模的线程池负责,实现方法完全得益于Qt的线程事件循环。被绑定到某个Qthread上的Qobject对象,其信号-槽事件循环由该线程负责。这样,便可方便的指定某个套接字对象使用的线程。同样,受惠于Qt的良好封装,直接支持Tcp套接字及SSL套接字,且在运行时可动态调整。(注:编译这个模块需要Qt的SSL支持,即在 configure 时加入  -openssl 选项

2、  任务流水线模块。负责数据的处理。在计算密集型的应用中,数据处理负荷较重,需要和网络传输划分开。基于普通线程池的处理模式,也存在队列阻塞的问题——若干个客户端请求的耗时操作,阻塞了其他客户端的响应,哪怕其他客户端的请求很短时间就能处理完毕,也必须排队等待。采用流水线线程池避免了这个问题。每个客户端把需要做的操作进行粒度化,在一个环形的队列中,线程池对单个客户端,每次仅处理一个粒度单位的任务。单个粒度单位完成后,该客户端的剩余任务便被重新插入到队列尾部。这个机制保证了客户端的整体延迟较小。

3、  服务集群管理模块。该模块使用了网络传输模块、任务流水线模块的功能,实现了跨进程的服务器ßà服务器链路。在高速局域网中,连接是快速、稳定的。因此,该模块被设计成一种星型无中心网络。任意新增服务器节点选择现有服务器集群中的任意一个节点,接入后,通过广播自动与其他服务器节点建立点对点连接。本模块只是提供一个服务器到服务器的通信隧道,不负责具体通信内容的解译。对传输内容的控制,由具体应用决定。

4、  数据库管理模块。该模块基于Qt的插件式数据库封装QtSql。数据库被作为资源管理,支持在多线程的条件下,使用数据库资源。

5、  框架界面。尽管常见的服务运行时表现为一个后台进程,但为了更好的演示服务器的功能,避免繁琐的配置,还是需要一个图形界面来显示状态、设置参数。本范例中,界面负责轮训服务器的各个状态,并设置参数。设置好的参数被存储在一个ini文件中,并在服务开启时加载。

6、应用专有部分模块。上述1-4共四个主要模块均是通用的。他们互相之间没有形成联系,仅仅是作为一种资源存在于程序的运行时(Runtime)之中。应用专有部分模块根据具体任务需求,灵活的使用上述资源,以实现功能。在范例代码中,实现了一种点对点的转发机制。演示者虚拟出一些工业设备,以及一些操作员使用的客户端软件。设备与客户端软件在成功认证并登录后,需要交换数据。改变这个模块的代码,即可实现自己的功能。

(二) 设计性能


项目


指标说明


指标值


备注


支持的连接类型


取决于Qt的支持类型


SSL和Plain


运行时同时支持两类.


协议


Ipv4 TCP , IPV6 Tcp


设计单进程连接数


在4\8传输线程配置下计算


1024\2048


取决于实际机器的性能和任务形式.


设计集群规模


星型集群的规模受到节点数影响。


100节点,9900个跨服务器连接。


局域网中的连接数为节点数*(节点数-1)。


设计总用户规模


100节点、每节点2048个用户


20万

下一篇文章,将开始介绍各个模块的设计思路。先给出范例代码的测试编译环境:

1、Ubuntu 14.04 + Qt5.2.1 openSSL 自编译版

2、Win 7 x64 + VCExpress 2013 x64, x86 + Qt 5.2.1 openSSL自编译版

3、Win XP x86 + VC2010Express x86 + Qt5.2.1openSSL自编译版

主要界面:

http://blog.csdn.net/goldenhawking/article/details/25921647

http://download.csdn.net/user/goldenhawking

时间: 2024-10-10 19:59:22

一种基于Qt的可伸缩的全异步C/S架构服务器实现(流浪小狗,六篇,附下载地址)的相关文章

一种基于Qt的可伸缩的全异步C/S架构服务器实现(六) 整合各个模块实现功能

在前面的章节中,介绍了网络传输.任务线程池.数据库和集群四个主要功能模块.到现在为止,这些模块都还只是一种资源,没有产生实际的运行效果.对一个具备真实功能的应用来说,需要有一个整合的过程.整合方法很多,这里以典型的客户 -客户通信来举例说明. (一)类结构 1."客户端" 这个概念被抽象为一个节点类st_clientNode,每个客户端连接对应了该类的一个实例.这个类不但存储了有关该连接的所有背景信息(比如聊天程序中的用户名等),还提供了正确解释数据流的代码实现.由于想分开传输层和应用

一种基于Qt的可伸缩的全异步C/S架构服务器实现(三)

三.流水线结构线程池设计 为了无阻塞地实现并发通信及处理,传统的小规模服务器采用每用户一线程的多线程技术,称为"任务伴随者"模式.该模式示意图如下: 然而,当客户端很多时,开启上百组线程,远远超过计算机的物理线程规模,导致大量计算资源浪费在线程上下文切换和环境恢复等维护工作中,有效计算能力显著降低. 在多线程并行计算技术中,能够有效利用CPU物理核心,避免上下文频繁切换的经典模式是线程池模式.系统仅开启与CPU核心数相等的工作线程,形成线程池(ThreadPool).各个任务在队列中排

一种基于Qt的可伸缩的全异步C/S架构服务器实现(一) 综述

本文向大家介绍一种基于Qt的伸缩TCP服务实现.该实现针对C/S客户端-服务集群应用需求而搭建.连接监听.数据传输.数据处理均在独立的线程池中进行,根据特定任务不同,可安排负责监听.传输.处理的线程数目,从而在高传输负荷.高计算符合上达成取舍.数据处理采用流水线结构,以避免少量客户的密集计算请求影响其他客户端的处理.本文对应的代码符合LGPL协议,可直接从https://github.com/goldenhawking/zpserver下载. 也可从http://download.csdn.ne

一种基于Qt的可伸缩的全异步C/S架构server实现(一) 综述

本文向大家介绍一种基于Qt的伸缩TCP服务实现.该实现针对C/Sclient-服务集群应用需求而搭建. 连接监听.传输数据.数据处理均在独立的线程池中进行,依据特定任务不同,可安排负责监听.传输.处理的线程数目,从而在高传输负荷.高计算符合上达成取舍.数据处理採用流水线结构.以避免少量客户的密集计算请求影响其它client的处理. 本文相应的代码符合LGPL协议,可直接从https://github.com/goldenhawking/zpserver下载. 也可从http://download

一种基于Qt的可伸缩的全异步C/S架构server实现(二) 网络传输

二.网络传输模块 模块相应代码命名空间    (namespace ZPNetwork) 模块相应代码存储目录    (\ZoomPipeline_FuncSvr\network) 2.1 模块结构 网络传输模块负责管理监听器,并依据各个传输线程眼下的负荷,把新申请接入的客户套接字描写叙述符引导到最空暇的传输线程中运行"接受连接(Accept)"操作.该模块由例如以下几个类组成. 1.zp_net_Engine类,派生自Qobject.模块的外部接口类.同一时候也是功能管理者.提供了设

一种可伸缩的全异步C/S架构服务器实现(二)

二.网络传输模块 模块对应代码命名空间    (namespace ZPNetwork) 模块对应代码存储文件夹    (\ZoomPipeline_FuncSvr\network) 2.1 模块结构 网络传输模块负责管理监听器,并根据各个传输线程目前的负荷,把新申请接入的客户套接字描述符引导到最空闲的传输线程中执行"接受连接(Accept)"操作.该模块由如下几个类组成. 1.zp_net_Engine类,派生自Qobject.模块的外部接口类,同时也是功能管理者.提供了设置监听器.

推荐一种适合程序员的字体(附下载地址及各平台安装方法)

经常写代码需要找一种看起来舒服的字体,她至少要满足: 字母和数字易于分辨,如: 0和o, 1和l, '' 和 " (两个单引号和双引号) 字体等宽,保持对齐 漂亮 免费 经过测试,推荐以下这款字体 Adobe Source Code Pro 主页: http://adobe-fonts.github.io/source-code-pro/ 效果图: 安装方法: Mac OS 双击已下载的字体文件,点击字体预览下方的"安装字体"按钮,即可 在 Finder 中选取“前往”>

【Qt编程】基于Qt的词典开发系列<九>--JSON数据解析

在上一篇文章<用户登录及API调用的实现>中,我通过程序实现了用户登录及API调用的实现.从而能够实现网络查词.添词的操作.可是.从上文中能够看到.调用API后返回的是JSON格式的数据,例如以下图所看到的(在QtCreator中的显示): 为了更好的观察JSON格式.我整理后显演示样例如以下: 显然.为了显示查词的结果,我们必须在上图中提取实用的信息,并正确的显示出来. 上图中每一行内容的意思我已经在文章<调用网络API>中作了解释.我在词典中选择想要显示的内容有:单词本身.单词

基于Qt有限状态机人工智能的一种实现及改进方法

基于Qt有限状态机人工智能的一种实现及改进方法 人工智能在今年是一个非常火的方向,当然了,不仅仅是今年,它一直火了很多年,有关人工智能的一些算法层出不穷.人工智能在很多领域都有应用,就拿我熟悉的游戏领域来说吧,一些寻路算法,比如说A*算法(我的<十日驱鬼记>就曾经使用了A*算法进行寻路),还有一些高级的算法,比如说决策树等,都在游戏中得以了广泛的应用.我目前想制作的项目和人工智能也有一定的关系,因此,我这个月开始学习搭建一些简单的人工智能框架. 蒋彩阳原创文章,首发地址:http://blog