多线程程序的填坑笔记和多线程编程应该遵循的规则

这几天晚上群里一朋友有偿叫我把他的程序弄稳定,因为是现场管理项目,需要做到无人职守,所以即使是客户端,也不能经常down机,因为之前对他的程序有过一个晚上的实地查看,基本流程已经有个大概的了解,我就接下来了。

刚开始的时候, 程序运行不到一个上午,内存暴涨,有时几个小时就挂了,这个那天晚上发现了,找了半天发现一处加载图片的TMemoryStream没有释放。

没想到接下来还有很多的坑需要填。

一个个解决吧,看看有多少坑!

第一天:开始他跟我说他的连接数据库老是超出数量,会导致程序不能处理任务,当天晚上就用diocp3中的BaseQueue做了个轻便的ADO连接池,因为baseQueue做了大量的测试,所以这个ado连接池经过简单的测试就算OK了,接下来就大量的苦力工作了。

第二天:说连接池换上后,连接问题没有了,可是线程池不能处理任务了。他之前使用的一个叫uThreadPool单元,代码好复杂。我推荐他使用QWokers,因为qwokers我一直在使用,很稳定了,任务的投递也很简单,后来一想,他是D7,没办法用这么好的类库,没办法,只好iocpTask上了。iocpTask diocp3中的一个任务投递的库, 是个类似qworker的库,不过只有任务投递和执行的功能,比起qworker来说太简单了,不过用iocpEngine稳定性应该也是不错的了。换上后,我接着对iocpTask做了写修改,加强了调试信息,能够很方便的看到工作线程的当前状态,和任务执行的状态。

因为他说线程池有问题,我估计肯定是卡在哪个任务了,到时候卡死的时候一看就明白了。

下面是iocpTask输出的状态信息,

post counter:10000001
response counter:10000001
error counter:0

active : True, worker count: 5
----------------------- woker 1 --------------------
thread id: 9664, response count: 1719388
busying:False, waiting:True, reserved:True
request state info:
runInMainThread: False, done: True, time(ms): 0
----------------------- woker 2 --------------------
thread id: 6680, response count: 2010817
busying:False, waiting:True, reserved:True
request state info:
runInMainThread: False, done: True, time(ms): 0
----------------------- woker 3 --------------------
thread id: 4956, response count: 1965637
busying:False, waiting:True, reserved:False
request state info:
runInMainThread: False, done: True, time(ms): 0
----------------------- woker 4 --------------------
thread id: 8304, response count: 2641407
busying:False, waiting:True, reserved:False
request state info:
runInMainThread: False, done: True, time(ms): 0
----------------------- woker 5 --------------------
thread id: 9528, response count: 1662752
busying:False, waiting:True, reserved:False
request state info:
runInMainThread: False, done: True, time(ms): 0

因为是gitHub上面的项目所以我用了E文注释和E文信息,中式英文,都懂的,稍微解释下,

post counter:10000001          //代表投递的任务数

response counter:10000001  //响应数

error counter:0                         //投递失败数量

下面是工作线程的一些信息,有线程ID, 响应处理的任务数量,

下面的状态比较关键

busying 的true的话就是代表正在执行任务,wating是在等待状态, reserved是代表常驻工作线程

如果busying为true,会跟着出现当前正在执行的任务信息,如果任务都在执行这样线程池达到最多的线程数,就不能处理新的任务了。导致了他程序发生的情况。这样可以根据任务的信息找到对应的过程,去缩小范围查询问题。

request state info: 如果任务有备注信息,会显示在这里

runInMainThread:是否在主线程执行的任务,done:任务是否完成, time(ms): 是任务耗用的时间。

有了iocpTask这个坑很快找到了。

发现原来临界用了很多,导致了任务死锁…,

明天要接着填临界的坑了。

第三天:他的程序临界使用泛滥,当前进入不了临界,导致任务挂起,但是并不是当前临界的问题,是因为有其他任务进入临界没有退出。所以要找出前面的临界,把临界类改造了下。

可以看到临界的当前信息,我把iocpLocker也进行了相应的升级

function TIocpLocker.getDebugINfo: String;
begin
  Result := Format(‘%s: busycount:%d, try:%s, enter:%s‘, [self.FName, GetEnterCount, FTryEnterInfo, FEnterInfo]);
end;

可以获取临界的名称,进入尝试进入临界的线程个数,尝试进入临界的信息和已经进入临界的信息。

有了这个数据就可以看到死锁的临界已经进入的临界信息就是代表造成死锁的元凶了。

第四天:因为线程里面对UI的访问过多,可以用iocpTask在线程中对 UI的访问部分,通过投递任务的方式投递到主线程中完成工作,这也是个苦力。

认真的对他的程序做了改进,并讲解了多线程编程需要注意的地方<后面会总结>,虽然后面程序还有写bug。他还是很爽快的把钱给付了,说即使程序还有问题也值了,通过这次填坑交流知道要注意很多地方。这算是对我这次工作的最大肯定吧。

总结:

通过对这次填坑和以往DIOCP群里面一些朋友的问题和做法,我列出下多线程程序编写需要遵循的几点,希望对大家有所帮助:

1.子线程千万不要访问主线程的UI,(memo,Label),我发现这样做的程序员很多,在diocp中经常会用到onConnected/OnDisconnected事件中直接操作主窗体的Memo。导致程序无法正常退出,或者出现卡死主界面的情况,原因我想可以归纳到访问冲突上面,用临界也不能解决问题。很多组件都是靠windows消息驱动,他才不会使用零件去处理消息,所以临界也没办法。你只有老老实实的投递到主线程去完成这部分工作,qworker和iocpTask都可以很好的完成这项工作。

2.线程之间访问共享资源需要用临界,千万不要多个线程同时去处理同一个变量,或者列表,否则就等着出现各种问题吧。

3.数据库连接尽量用连接池去完成,这样既可以减少连接,也可以很好的避免多个线程对同一个连接的使用。

当然还有很多细小的问题,需要自己去注意了。

时间: 2024-10-12 02:37:23

多线程程序的填坑笔记和多线程编程应该遵循的规则的相关文章

黑马程序员——JAVA学习笔记六(多线程)

1,    什么是多线程?一个程序可以执行多个任务,每一个任务称为一个线程,运行多个线程的程序称为多线程程序. 进程:正在进行中的程序(直译). 线程:进程中一个负责程序执行的控制单元(执行路径).   多线程的好处:解决了多部分代码同时运行的问题.多线程的弊端:线程太多,会导致效率的降低. 其实,多个应用程序同时执行都是CPU在做着快速的切换完成的.这个切换是随机的.CPU的切换是需要花费时间的,从而导致了效率的降低 2 ,    创建线程方式:  创建线程方式一:继承Thread类 1.定义

H5填坑笔记--持续更新

最近一直在做移动端的页面,发现很多的坑,这里做一下总结,填填坑…… css常见的问题(一) 一.iOS键盘首字母自动大写 IOS的机子,默认英文输入法状态下,首字母是自动大写的,有时候挺烦人的. 在iOS中,默认情况下键盘是开启首字母大写的功能的,如果业务不想出现首字母大写,可以这样: <input type="text" autocapitalize="off" /> 二.iOS输入框默认内阴影和样式问题 在iOS上,输入框默认有内部阴影,但无法使用

微信小程序开发填坑指南V1

近期用了一星期的时间,开发了一个小程序.小程序名称是:小特Jarvis,取自钢铁侠的管家. 后台采用C#编写,WebAPI接口.其实开发时间并不多,小程序本身提供的API,相比公众号的API来说,已经封装了好多东西,我们只负责简单调用即可.而且,提供的开发工具也很方便,开发环境和VisualStudio很类似,包括快捷键(不知道Java的开发员是不是也有这感觉?) 好了说重点.今天是个总结,把这一星期开发时遇到的坑整理下,希望其他人遇到时能有个参考.其实开发的坑不多,部署的坑最多.开始咯 1,多

在 Windows 上测试 Redis Cluster的集群填坑笔记

%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A8%8B%E5%BA%8F%E7%9A%84%E6%80%9D%E7%BB%B4%E9%80%BB%E8%BE%91%2010%20-%20%E5%BC%BA%E5%A4%A7%E7%9A%84%E5%BE%AA%E7%8E%AF ??????OjF71Fc9???????a? http://auto.315che.com/yingfeinidim/qa23803972.htm?3a3 http://auto.315che.com/

centOS填坑笔记(一)

第一次使用centOS安装软件时,对二进制包的./configure进行配置时(./configure是源代码安装的第一步,主要的作用是对即将安装的软件进行配置,)报错:WARNING: failed to autodetect C compiler version (CC=gcc) 解决:http://www.cyberciti.biz/faq/centos-rhel-7-redhat-linux-install-gcc-compiler-development-tools/ WARNING:

读书笔记:多线程服务器的适用场合(1)

声明:以下内容若无特别说明,均指Linux服务器环境下,传输层协议为TCP.主要开发语言为C++. 开发服务器端程序最基础的工作就是处理并发连接,服务器端网络编程处理并发连接主要有以下两种方式: 当线程廉价时,一台机器上可以创建远多于机器CPU物理线程数的"线程",这是一个线程只处理一个TCP连接,通常使用阻塞IO(至少看起来如此).例如Go goroutine.Erlang actor.这里的线程由语言runtime调用,与操作系统的线程不是一回事. 当线程很宝贵时,一台机器上只能创

前端系列——jquery前端国际化解决方案“填坑日记”

前言:最近,新的平台还没有开发完成,原来的老项目又提出了新的需求:系统国际化.如果是前后端完全分离的开发模式,要做国际化,真的太简单了,有现成的解决方案,基于Node构建的时下热门的任何一种技术选型都有成熟的方案,比如: vue + vue-i18n angular + angular-translate react + react-intl 但现在的情况是老的项目并没有使用这类架构.说起国际化,博主几年前就做过,在MVC里面实现国际化有通用的解决方案,主要就是通过资源文件的方式定义多语言.最初

jquery.i18n.properties前端国际化解决方案“填坑日记”

但现在的情况是老的项目并没有使用这类架构.说起国际化,博主几年前就做过,在MVC里面实现国际化有通用的解决方案,主要就是通过资源文件的方式定义多语言.最初接到这个任务,并没有太多顾虑,毕竟这种东西有很成熟的解决方案,实现起来难点不会很大.可当真正动起来手来去实现的时候发现一些问题,这里先介绍下我们老平台的架构:MVC+WebApi,MVC项目负责页面渲染,webapi负责数据接口,是一种很传统的架构方式.国际化主要在MVC端去做就好了,可是由于MVC项目里面使用了大量第三方bootstrap组件

《软件调试的艺术》笔记--调试多线程程序

下面是于线程相关的GDB命令用法汇总: info threads:给出关于当前所有线程的信息. thread 3:改成线程3. break 88 thread 3 :当线程到达源代码88时停止执行. break 88 thread 3 if i == 2 当线程3到达源代码行88行,并且变量i的值为2时停止执行. 对下面的多线程进行调试: #include <stdio.h> #include <pthread.h> #include <string.h> #inclu