8天玩转并行开发——第七天 简要分析任务与线程池

原文:8天玩转并行开发——第七天 简要分析任务与线程池

其实说到上一篇,我们要说的task的知识也说的差不多了,这一篇我们开始站在理论上了解下“线程池”和“任务”之间的关系,不管是

说线程还是任务,我们都不可避免的要讨论下线程池,然而在.net 4.0以后,线程池引擎考虑了未来的扩展性,已经充分利用多核微处理器

架构,只要在可能的情况下,我们应该尽量使用task,而不是线程池。

首先看一下task的结构

从图中我们可以看出Task.Factory.StartNew()貌似等同于用ThreadPool.QueueUserWorkItem()创建,但是请注意,我是用TPL的形式

使用线程池,要知道task出现以后,一直标榜着以更少的工作量,更低的性能消耗来PK原始线程。

这里简要的分析下CLR线程池,其实线程池中有一个叫做“全局队列”的概念,每一次我们使用QueueUserWorkItem的使用都会产生一个

“工作项”,然后“工作项”进入“全局队列”进行排队,最后线程池中的的工作线程以FIFO的形式取出,效果图类似如下:

这里要值得一提的是,在.net 4.0之后“全局队列”采用了无锁算法,相比以前版本锁定“全局队列”带来的性能瓶颈有了很大的改观。那么任务

委托的线程池不光有“全局队列”,而且每一个工作线程都有”局部队列“,效果图如下

我们的第一反应肯定就是“局部队列“有什么好处,可以考虑这样的情况,当我们new一个task的时候“工作项”就会进去”全局队列”,如果我们的

task执行的非常快,那么“全局队列“就会FIFO的非常频繁,那么有什么办法缓解呢?当我们的task在嵌套的场景下,“局部队列”就要产生效果了,

比如我们一个task里面有3个task,那么这3个task就会存在于“局部队列”中。

 1   class Program
 2     {
 3         static void Main(string[] args)
 4         {
 5             var task = Task.Factory.StartNew(() =>
 6             {
 7                 var task1 = Task.Factory.StartNew(Run1);
 8                 var task2 = Task.Factory.StartNew(Run2);
 9                 var task3 = Task.Factory.StartNew(Run3);
10
11                 Task.WaitAll(new Task[] { task1, task2, task3 });
12             });
13
14             Console.Read();
15         }
16
17         public static void Run1() { Thread.Sleep(100000); }
18
19         public static void Run2() { Thread.Sleep(100000); }
20
21         public static void Run3() { Thread.Sleep(100000); }
22     }

从图中可以看到,其实“局部队列“起到了一个分流的作用,也叫做”任务内联化“,”局部队列“采用的是”LIFO"的形式,其实这样的形式也是

为了提升性能之用,因为Run3送到“局部队列”中时可能还存在CPU的高速缓存中,所以从“局部队列”中取出来相对来说更快一点,最后的效

果就是Run3要理论上优先于Run2,Run1先执行。

现在我们再来考虑这样一种情况,比如有两个人,一个人干完了分配给自己的所有活,而另一个人却还有很多的活,从人情上说,闲的人应

该接手点忙的人的活,同样,对应图中“线程2“跑完了“局部队列”中的所有任务,并且同时发现”全局队列“中已经没有可以跑的”任务“了,然而

“线程1”里面还有Run1,Run2,Run3,那么此时“线程2”采用“FIFO”的形式窃取“线程1”里面的任务。

从上面种种情况我们看到,这些分流和负载都是普通ThreadPool.QueueUserWorkItem所不能办到的,所以说在.net 4.0之后,我们

尽可能的使用TPL,抛弃ThreadPool。

时间: 2024-10-11 07:25:28

8天玩转并行开发——第七天 简要分析任务与线程池的相关文章

8天玩转并行开发——第八天 用VS性能向导解剖你的程序

原文:8天玩转并行开发--第八天 用VS性能向导解剖你的程序 最后一篇,我们来说说vs的“性能向导",通常我们调试程序的性能一般会使用Stopwatch,如果希望更加系统的了解程序,我们就需要 用到”性能向导“,通过性能报告便于我们快速的发现并找到潜在的性能问题. 首先我们上一段需要改进的代码: 1 using System; 2 using System.Collections.Generic; 3 using System.Linq; 4 using System.Text; 5 using

8天玩转并行开发——第一天 Parallel的使用

转自:http://www.cnblogs.com/huangxincheng/archive/2012/04/02/2429543.html 随着多核时代的到来,并行开发越来越展示出它的强大威力,像我们这样的码农再也不用过多的关注底层线程的实现和手工控制, 要了解并行开发,需要先了解下两个概念:“硬件线程”和“软件线程”. 1. 硬件线程 相信大家手头的电脑都是双核以上的,像我这样古董的电脑都是双核的,这样的双核叫做物理内核.

8天玩转并行开发——第四天 同步机制(上)

在并行计算中,不可避免的会碰到多个任务共享变量,实例,集合.虽然task自带了两个方法:task.ContinueWith()和Task.Factory .ContinueWhenAll()来实现任务串行化,但是这些简单的方法远远不能满足我们实际的开发需要,从.net 4.0开始,类库给我们提供了很多 的类来帮助我们简化并行计算中复杂的数据同步问题. 大体上分为二种: ①   并发集合类:           这个在先前的文章中也用到了,他们的出现不再让我们过多的关注同步细节. ②  轻量级同步

8天玩转并行开发——第二天 Task的使用

在我们了解Task之前,如果我们要使用多核的功能可能就会自己来开线程,然而这种线程模型在.net 4.0之后被一种称为基于 “任务的编程模型”所冲击,因为task会比thread具有更小的性能开销,不过大家肯定会有疑惑,任务和线程到底有什么区别? 1:任务是架构在线程之上的,也就是说任务最终还是要抛给线程去执行. 2:任务跟线程不是一对一的关系,比如开10个任务并不是说会开10个线程,这一点任务有点类似线程池,但是任务相比线程池有很小 的开销和精确的控制. 一:Task 1. 最简单的使用 开启

玩转Eclipse开发工具(七)

十四编译器 (1)编译器的相关设置 编译级别 类文件产生 (2)构建时 通用 构建路径问题 输出文件夹 (3)错误与警告的设置 代码样式 潜在程序问题 命名遮蔽与冲突 过时与受限API 不必要的代码 泛型类型 注解 null分析 十五调试 (1)程序调试的概念 什么是程序调试(debug),当程序中出错时,我们希望这样: 程序执行时忽闪一下就运行结束,怎么让程序一步一步运行? (2)程序调试 1)设置断点 断点:程序暂停执行的代码行 2)单步运行 3)观察变量 (3)使用Eclipse调试程序的

8天玩转并行开发——第五天 同步机制(下)

承接上一篇,我们继续说下.net4.0中的同步机制,是的,当出现了并行计算的时候,轻量级别的同步机制应运而生,在信号量这一块 出现了一系列的轻量级,今天继续介绍下面的3个信号量 CountdownEvent,SemaphoreSlim,ManualResetEventSlim. 一:CountdownEvent 这种采用信号状态的同步基元非常适合在动态的fork,join的场景,它采用“信号计数”的方式,就比如这样,一个麻将桌只能容纳4个 人打麻将,如果后来的人也想搓一把碰碰运气,那么他必须等待

8天玩转并行开发——第六天 异步编程模型

在.net里面异步编程模型由来已久,相信大家也知道Begin/End异步模式和事件异步模式,在task出现以后,这些东西都可以被task包装 起来,可能有人会问,这样做有什么好处,下面一一道来. 一: Begin/End模式 1: 委托 在执行委托方法的时候,我们常常会看到一个Invoke,同时也有一对你或许不常使用的BeginInvoke,EndInvoke方法对,当然Invoke方法 是阻塞主线程,而BeginInvoke则是另开一个线程. 1 class Program 2 { 3 sta

diy数据库(七)--线程控制块、消息、线程池

一.概述 1.diy数据库使用的是一个多进程and多线程的服务器模型.每个进程作为一个节点实例,监听一个端口:而每个用户连接在数据库节点实例中都会有一个代理线程与之对应. 2.除了主线程外每个线程都有一个EDU(进程调度单元,也可称为线程控制块),另外每种系统线程类型有且只有一个线程实体(这里的系统线程只有一种,即监听线程,主线程不在线程管理池里面) 3.代理线程是专门处理用户请求的 ,由监听线程创建 4.线程池对进行调度,通过传入不同的类型, 内部调用不同的函数执行相应请求 5.EDU回池后可

并行开发学习随笔1——plinq并行

这两天在看园友的文章 <8天玩转并行开发——第三天 plinq的使用> 对里面的第一个实例亲手实践了一下,发现了一点有意思的事情. 测试环境:.net 4.5 64位(如果是32位的,测试千万数据时会爆出out of memory的错误) 在我的机器上,千万数据的测试结果: 百万数据的测试结果: 十万数据的测试结果: 可以看出,到底使用串行还是并行应该根据数据量来决定,两者的大致就在几十万数据的时候性能基本接近.当然这个结果不是固定的,应该是与机器的配置以及测试时的系统环境有比较大的关系,实际