资源池的两个小教训

“不要使用全局的资源池。除非你真的知道它的合理配置——如大小、超时等。”

我在这个坑里踩了两次了。

第一次是Http的连接池。我用了一个默认的PoolingHttpClientConnectionManager来进行REST服务调用。没想到,默认配置下的http连接池中,同一个域名最多只创建两个链接。结果压力稍微上来一点就瞬间悲剧了。

第二次是线程池。Spring的task:annotation-driven配置会将全局的@Async注解类/方法,以及定时任务都放到同一个线程/任务池中进行异步调用。结果,当其中某些任务阻塞住了工作线程时,系统中一大批多线程操作都超时了。

除了这两个坑外,我算是成功的躲开了一个坑。

使用Java 8的parallel stream来运行多线程任务时,默认情况下,所有线程由ForkJoinPool.commonPool()来调度、运行。与我第二次踩坑时的问题相似:如果有某些任务阻塞住了工作线程时,其它多线程任务会付出额外的等待时间,甚至超时。

这次我用了自定义的ForkJoinPool来躲开这个坑。并且我提醒自己:使用全局资源池时,一定要慎重。例如,全局的线程池、http/db连接池、缓存池等等。因为“全局”的覆盖面和影响面都太广,一个地方的无心之失,就可能导致千百处问题。这样的风险太大、太不可控了。

不过,数据库连接池算是一个特例。实际上,数据库连接池同样有上面这些风险,只不过大部分情况下,我们对数据库连接池机制研究以及大小、超时时间等方面的配置已经比较完善了,因此才很少出现影响应用服务的问题。另外,由于数据库操作实在是太频繁了,数据库连接池算是一个刚需,没它不行。

区分使用资源池,可以起到问题隔离的作用。不过,过多的资源池有时候也会造成资源浪费。虽然这种情形的概率会更小,但是一旦真的出现问题了,那么要定位和解决起来就不是那么容易的了。

我的经验是,区分一下各类操作的类型(CPU密集运算、数据库读写操作、网络IO、硬盘IO等),对不同类型操作使用不同资源池(如不同的线程池);对同一类型的操作,可以再做细分(如内网IO、外网IO等),并以此为依据使用不同的资源池。

但总归,不要简单粗暴的使用全局统一的资源池。

时间: 2024-11-02 15:01:11

资源池的两个小教训的相关文章

用两个小例子来解释单例模式中的“双重锁定”

学习单例模式时,好多人都不太理解双重锁定.学完后突然想到一个很有趣的例子. 单例模式结构图: 代码: Singleton类 class Singleton { private static Singleton instance; private static readonly object syncRoot = new object(); //程序运行时创建一个静态只读的进程辅助对象 private Singleton() { } //用private修饰构造方法,防止外界利用new创建此类实例

ASP.NET MVC 开发中遇到的两个小问题

最近在做一个网站,用asp.net MVC4.0来开发,今天遇到了两个小问题,通过查找相关渠道解决了,在这里把这两个问题写出来,问题非常简单,不喜勿喷,mark之希望可以给遇到相同问题的初学者一点帮助. 问题一:我要实现文件的异步上传,前端提交的文件后台老是获取不到. 我前端是这样写的: @using (Ajax.BeginForm("UpdateNewInfo", "Home", new AjaxOptions() { HttpMethod = "pos

两个小案例

今天收获了两个小案例.其实对工作都很有启发,把案例和心得在这里记录下来,希望对别人也有帮助. 案例1: 测试人员在测试系统发现在系统A和系统B之间通过总线通讯,偶尔会出现timeout现象.反馈开发后,开发难以重现.根据简要分析后,认为是测试系统性能不行,拍胸脯保证在生产系统,用于系统通讯的总线不会出现这种问题.测试人员加强了性能测试强度,发现硬件提高后,的确性能测试场景中未能重现timeout.最终否决了缺陷.结果上到生产上后,timeout又出现了,而且对核心业务产生了一定影响(多亏有补救办

这两款小程序,你春节一定用得上!wewx.cn[微信小程序商店]

当小程序正式发布的火爆期逐渐过去,我们是时候该思考一下,什么样的小程序才能保持长久的生命力?或者说,什么行业才适合做小程序? 在微信官方给出的案例中,旅游.出行将是未来小程序的重要领域.那么,这个行业的大公司有什么动作呢? 今天,我们就跟大家一起来看看,去哪儿推出的两款小程序,以及他们对小程序的定位和目标. 去哪儿做了什么小程序? 截至目前为止,去哪儿一共推出了两款小程序,「去哪个酒店」和「去哪儿出行」,分别满足用户「订酒店」和「订票」的需求. 「去哪儿酒店」和「去哪儿出行」已进驻wewx.cn

js面向对象编程:两个小括号的使用

在查看很多jQuery的过程中,经常遇到两个小括号的情况. 例如: (function() { alert("测试1"); })(); (function() { alert("测试3"); }()); 其实这段代码,就是定义了一个匿名函数,并且进行了调用, 相当于如下几行代码: (function ListCommon2() { alert("测试1"); })(); (function ListCommon3() { alert("

iPerf 测试网速的小教训

最近使用iPerf有个小教训,简单记载引以为戒. 上周,豆子公司升级WAN宽带从20M到1G.光纤,SPF,交换机端口,VLAN, iBGP的设定等等都严格按照ISP的要求,最后升级完成以后,豆子做iPerf做了个网速测试. 在我看来,iperf的测试应该很简单,在一端机器上运行 ipferf.exe -s 监听,另外一端运行iperf.exe -c IPaddress,就行了. 测试的结果如下所示.豆子一看,尼玛,带宽怎么才100M?鉴于我们的ISP不太靠谱的历史记录,我的第一个反应就是ISP

逛园子,看到个练习题,小试了一把(淘宝ued的两道小题)

闲来无事,逛园子,充充电.发现了一个挺有意思的博文,自己玩了一把. 第一题:使用 HTML+CSS 实现如图布局,border-widht 1px,一个格子大小是 60*60,hover时候边框变为橘红色(兼容IE6+,考虑语义化的结构) 效果图: 简单分析一下: 使用伪类 :hover的时候相对定位 改变z-index, 代码如下: 1 <!DOCTYPE html> 2 <html lang="en"> 3 <head> 4 <meta c

职场上千万要注意这两个小细节

架构师米洛之前谈了害死程序员的小细节,那就是这句话:这不是我的问题.那个问题发生在嘴上,今天的问题,也是发生在嘴上,今天来讲两个小细节: 打小报告 我讨厌打小报告的家伙.为什么,我想就不用解释了吧.特别讨厌这种人,不知道啥时候会弄你一下. 背后拆台 有人的地方就有江湖,有江湖的地方就有八卦.有些八卦娱乐大众,无伤大雅.而有些八卦,其实是伤人的. 佛言:喜两舌谗人.恶口.妄言.绮语.或贡高诽谤经道.嫉贤妒能.恃才傲物,入此地狱.狱中鬼卒从人头拔其舌,烧铁钩其舌断,烧铁刺其咽,令其欲死不得,欲生不得

session的两个小案例

学完了session,写两个小案例加深一下对session的巩固. 1. 用户登陆案例 登陆html页面提交后,将参数带给处理登陆的servlet,该servlet将获得登陆的用户名和密码,并将这些信息存入session中,另一个servlet在处理的时候,会先从session中拿到用户的信息,判断是否登陆,再执行相应的动作.主要模拟一下我们常见的场景:登陆后,网页上会显示:欢饮您,xxx. 首先我们看一下欢迎页面index.jsp(这里只是简单的模拟下,后面学了jsp的标签后可以弄的更加人性化