C# 执行固定个数任务自行控制进入线程池的线程数量,多任务同时但是并发数据限定

思路来源:http://bbs.csdn.NET/topics/390819824,引用该页面某网友提供的方法。

题目:我现在有100个任务,需要多线程去完成,但是要限定同时并发数量不能超过5个。

原理:初始启用5个线程,然后让线程中的过程执行完毕之后,自己去取下一个任务,启动下一个线程。

[csharp] view plain copy

print?

  1. public class MyTaskList
  2. {
  3. public List<Action> Tasks = new List<Action>();
  4. public void Start()
  5. {
  6. for (var i = 0; i < 5; i++)
  7. StartAsync();
  8. }
  9. public event Action Completed;
  10. public void StartAsync()
  11. {
  12. lock (Tasks)
  13. {
  14. if (Tasks.Count > 0)
  15. {
  16. var t = Tasks[Tasks.Count - 1];
  17. Tasks.Remove(t);
  18. ThreadPool.QueueUserWorkItem(h =>
  19. {
  20. t();
  21. StartAsync();
  22. });
  23. }
  24. else if (Completed != null)
  25. Completed();
  26. }
  27. }
  28. }
    public class MyTaskList
    {
        public List<Action> Tasks = new List<Action>();

        public void Start()
        {
            for (var i = 0; i < 5; i++)
                StartAsync();
        }

        public event Action Completed;

        public void StartAsync()
        {
            lock (Tasks)
            {
                if (Tasks.Count > 0)
                {
                    var t = Tasks[Tasks.Count - 1];
                    Tasks.Remove(t);
                    ThreadPool.QueueUserWorkItem(h =>
                    {
                        t();
                        StartAsync();
                    });
                }
                else if (Completed != null)
                    Completed();
            }
        }
    }

调用方式:

1,自动加入的100个测试任务,每一个运行时间都是不定的、随机的。

2,这里的 StartAsync 方法瞬间就结束了,根本不会阻塞,也不会等待什么 while 循环结束

[csharp] view plain copy

print?

  1. var rnd = new Random();
  2. var lst = new MyTaskList();
  3. for (var i = 0; i < 100; i++)
  4. {
  5. var s = rnd.Next(10);
  6. var j = i;
  7. var 测试任务 = new Action(() =>
  8. {
  9. Console.WriteLine(string.Format("第{0}个任务(用时{1}秒)已经开始", j, s));
  10. Thread.Sleep(s * 1000);
  11. Console.WriteLine(string.Format("第{0}个任务(用时{1}秒)已经结束", j, s));
  12. });
  13. lst.Tasks.Add(测试任务);
  14. }
  15. lst.Completed += () => Console.WriteLine("____________________没有更多的任务了!");
  16. lst.Start();
            var rnd = new Random();
            var lst = new MyTaskList();
            for (var i = 0; i < 100; i++)
            {
                var s = rnd.Next(10);
                var j = i;
                var 测试任务 = new Action(() =>
                {
                    Console.WriteLine(string.Format("第{0}个任务(用时{1}秒)已经开始", j, s));
                    Thread.Sleep(s * 1000);
                    Console.WriteLine(string.Format("第{0}个任务(用时{1}秒)已经结束", j, s));
                });
                lst.Tasks.Add(测试任务);
            }
            lst.Completed += () => Console.WriteLine("____________________没有更多的任务了!");
            lst.Start();

自己使用到程序中,自定义最大线程数,然后循环启用最大线程数个线程执行任务,等待有线程完成,退出本次运行方法和线程前,再次调用启用线程方法调用下一个线程,依次循环,直至完成:

[csharp] view plain copy

print?

  1. AutoResetEvent[] waitEnents = new AutoResetEvent[n_max_thread];
  2. for (int i = 0; i < n_max_thread; i++)
  3. {
  4. calcState.wait_event = waitEnents[i] = new AutoResetEvent(false);
  5. StartAsync(calcState);
  6. }
  7. AutoResetEvent.WaitAll(waitEnents);
  8. private static void StartAsync(CalcState calcState)
  9. {
  10. lock (calcState.locker_ListFormula)
  11. {
  12. if (calcState.lstFormula.Count > 0)
  13. {
  14. calcState.formulaAttr = calcState.lstFormula.ElementAt(calcState.lstFormula.Count - 1).Value;
  15. calcState.lstFormula.Remove(calcState.lstFormula.ElementAt(calcState.lstFormula.Count - 1).Key);
  16. ThreadPool.QueueUserWorkItem(new WaitCallback(ExecAsync), calcState);
  17. }
  18. else
  19. {
  20. calcState.wait_event.Set();
  21. }
  22. }
  23. }
  24. private static void ExecAsync(object obj)
  25. {
  26. CalcState calcState = obj as CalcState;
  27. startCalcFormula(calcState);
  28. //递归处理下一个公式
  29. StartAsync(calcState);
  30. }
  31. private static void startCalcFormula(CalcState calcState)
  32. {
  33. }
        AutoResetEvent[] waitEnents = new AutoResetEvent[n_max_thread];
        for (int i = 0; i < n_max_thread; i++)
        {
             calcState.wait_event = waitEnents[i] = new AutoResetEvent(false);

             StartAsync(calcState);
        }

        AutoResetEvent.WaitAll(waitEnents);

        private static void StartAsync(CalcState calcState)
        {
            lock (calcState.locker_ListFormula)
            {
                if (calcState.lstFormula.Count > 0)
                {
                    calcState.formulaAttr = calcState.lstFormula.ElementAt(calcState.lstFormula.Count - 1).Value;
                    calcState.lstFormula.Remove(calcState.lstFormula.ElementAt(calcState.lstFormula.Count - 1).Key);
                    ThreadPool.QueueUserWorkItem(new WaitCallback(ExecAsync), calcState);
                }
                else
                {
                    calcState.wait_event.Set();
                }
            }

        }

        private static void ExecAsync(object obj)
        {
            CalcState calcState = obj as CalcState;
            startCalcFormula(calcState);
            //递归处理下一个公式
            StartAsync(calcState);
        }

        private static void startCalcFormula(CalcState calcState)
        {

        }
时间: 2024-10-13 06:27:54

C# 执行固定个数任务自行控制进入线程池的线程数量,多任务同时但是并发数据限定的相关文章

通过实验研究“线程池中线程数目的变化规律” --- 下有不错的线程池使用 原理 总结

通过实验研究“线程池中线程数目的变化规律” 自从看了老赵关于线程池的实验以后,我就想学着做一个类似的实验,验证自己的理解,现在终于做好了,请大家指正. 一般情况下我们都使用Thread类创建线程,因为通过Thread对象可以对线程进行灵活的控制.但创建线程和销毁线程代价不菲,过多的线程会消耗掉大量的内存和CPU资源,假如某段时间内突然爆发了100个短小的线程,创建和销毁这些线程就会消耗很多时间,可能比线程本身运行的时间还长.为了改善这种状况,.NET提供了一种称之为线程池(Thread Pool

由浅入深理解Java线程池及线程池的如何使用

前言 多线程的异步执行方式,虽然能够最大限度发挥多核计算机的计算能力,但是如果不加控制,反而会对系统造成负担.线程本身也要占用内存空间,大量的线程会占用内存资源并且可能会导致Out of Memory.即便没有这样的情况,大量的线程回收也会给GC带来很大的压力. 为了避免重复的创建线程,线程池的出现可以让线程进行复用.通俗点讲,当有工作来,就会向线程池拿一个线程,当工作完成后,并不是直接关闭线程,而是将这个线程归还给线程池供其他任务使用. 接下来从总体到细致的方式,来共同探讨线程池. 总体的架构

线程系列06,通过CLR代码查看线程池及其线程

在"线程系列04,传递数据给线程,线程命名,线程异常处理,线程池"中,我们已经知道,每个进程都有一个线程池.可以通过TPL,ThreadPool.QueueUserWorkItem,委托与线程池交互.本篇体验:通过查看CLR代码来观察线程池及其线程. □ 通过编码查看线程池和线程 使用ThreadPool的静态方法QueueUserWorkItem把线程放入线程池,来看线程池线程和主程序线程的执行情况. class Program { static void Main(string[]

线程池和线程的选择

能用线程池就用线程池,线程池效率比线程高很多. 线程池处理线程的顺序不一定. 线程池不能手动关闭具体线程. 如果执行线程时间特别长,那手动创建线程,和放入线程池中没太大区别. 线程池非常适合做大量的小的运算.

多线程 线程池 守护线程

守护线程只是个概念问题,一句话可以总结(不知道总结的对不对^_^); 当所有用户线程都结束的时候,守护线程也就结束了,当有用户线程存在的时候,守护线程就是一个普通线程. main线程不可以设置成守护线程,应为只有在线程调用start方法前,才可以设置线程为守护线程,main线程是jvm创建的 多线程以及线程池的问题 import java.io.DataInputStream; import java.io.File; import java.io.FileOutputStream; impor

Python的并发并行[4] -&gt; 并发 -&gt; 利用线程池启动线程

利用线程池启动线程 submit与map启动线程 利用两种方式分别启动线程,同时利用with上下文管理来对线程池进行控制 1 from concurrent.futures import ThreadPoolExecutor as tpe 2 from concurrent.futures import ProcessPoolExecutor as ppe 3 from time import ctime, sleep 4 from random import randint 5 6 def f

Java多线程系列 JUC线程池07 线程池原理解析(六)

 关闭“线程池” shutdown()的源码如下: public void shutdown() { final ReentrantLock mainLock = this.mainLock; // 获取锁 mainLock.lock(); try { // 检查终止线程池的“线程”是否有权限. checkShutdownAccess(); // 设置线程池的状态为关闭状态. advanceRunState(SHUTDOWN); // 中断线程池中空闲的线程. interruptIdleWork

论线程池的线程粒度划分与深浅放置

摘要:多线程任务处理对提高性能很有帮助,在Java中提供的线程池也方便了对多线程任务的实现.使用它很简单,而如果进行了不正确的使用,那么代码将陷入一团乱麻.因此如何正确地使用它,如以下分享,这个技能你get到没? 关键词:多线程, 线程池, 数据库, 算法 解决问题:如何正确使用线程池. 众所周知,线程池在Java中非常常用,使用它也是一项最基本的技能.不过怎样才能更合理.更方便地使用线程池,我们需要总结一下. 下面是线程池最基础的使用方式. ExecutorService jobPool =

线程池Python 线程、进程和协程

Python   线程 Threading是用于提供线程相关的操作,线程是应用程序中工作的最小单元.线程与进程的关系下图所示: 子线程是由主线程产生的,但两者并没有关联. 利用threading创建线程: 1 '''利用threading包创建''' 2 import threading 3 import time 4 5 def run(n): 6 time.sleep(2) 7 print("task:",n) 8 9 '''串行:一个运行完后,再运行另外一个''' 10 run(