线程池代码(通用版)

一、适用场景

首先,必须明确一点,线程池不是万能的,它有其特定的使用场景。使用线程池是为了减小线程本身的开销对应用性能所产生的影响,但是其 前提是线程本身创建、销毁的开销和线程执行任务的开销相比是不可忽略的 。如果线程本身创建、销毁的开销对应用程序的性能可以忽略不计,那么使用/不使用线程池对程序的性能并不会有太大的影响。

线程池通常适合以下几种场景:

①、单位时间内处理的任务频繁,且任务时间较短

②、对实时性要求较高。如果接收到任务之后再创建线程,可能无法满足实时性的要求,此时必须使用线程池。

③、必须经常面对高突发性事件。比如Web服务器。如果有足球转播,则服务器将产生巨大冲击,此时使用传统方法,则必须不停的大量创建、销毁线程。此时采用动态线程池可以避免这种情况的发生。

二、代码实现

2.1 头文件

#if !defined(__THREAD_POOL_H__)
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <memory.h>
#include <pthread.h>
#include <sys/types.h>

// 布尔类型
typedef int bool;
#define false (0)
#define true  (1)

/* 线程任务链表 */
typedef struct _thread_worker_t
{
	void *(*process)(void *arg);  /* 线程处理的任务 */
	void *arg;                    /* 任务接口参数 */
	struct _thread_worker_t *next;/* 下一个节点 */
}thread_worker_t;

/* 线程池对象 */
typedef struct
{
	pthread_mutex_t queue_lock;   /* 队列互斥锁 */
	pthread_cond_t queue_ready;   /* 队列条件锁 */

	thread_worker_t *head;        /* 任务队列头指针 */
	bool isdestroy;               /* 是否已销毁线程 */
	pthread_t *threadid;          /* 线程ID数组 —动态分配空间 */
	int num;                      /* 线程个数 */
	int queue_size;               /* 工作队列当前大小 */
}thread_pool_t;

/* 函数声明 */
extern int thread_pool_init(thread_pool_t **pool, int num);
extern int thread_pool_add_worker(thread_pool_t *pool, void *(*process)(void *arg), void *arg);
extern int thread_pool_destroy(thread_pool_t *pool);

#endif /*__THREAD_POOL_H__*/

  

2.2 函数实现

/*************************************************************
 **功  能:线程池的初始化
 **参  数:
 **    pool:线程池对象
 **    num :线程池中线程个数
 **返回值:0:成功 !0: 失败
 *************************************************************/
int thread_pool_init(thread_pool_t **pool, int num)
{
	int idx = 0;

        /* 为线程池分配空间 */
	*pool = (thread_pool_t*)calloc(1, sizeof(thread_pool_t));
	if(NULL == *pool)
	{
		return -1;
	}

        /* 初始化线程池 */
	pthread_mutex_init(&((*pool)->queue_lock), NULL);
	pthread_cond_init(&((*pool)->queue_ready), NULL);
	(*pool)->head = NULL;
	(*pool)->num = num;
	(*pool)->queue_size = 0;
	(*pool)->isdestroy = false;
	(*pool)->threadid = (pthread_t*)calloc(1, num*sizeof(pthread_t));
	if(NULL == (*pool)->threadid)
	{
		free(*pool);
		(*pool) = NULL;

		return -1;
	}

        /* 依次创建线程 */
	for(idx=0; idx<num; idx++)
	{
		pthread_create(&((*pool)->threadid[idx]), NULL, thread_routine, *pool);
	}

	return 0;
}

  

/*************************************************************
 **功  能:将任务加入线程池处理队列
 **参  数:
 **    pool:线程池对象
 **    process:需处理的任务
 **    arg: process函数的参数
 **返回值:0:成功 !0: 失败
 *************************************************************/
int thread_pool_add_worker(thread_pool_t *pool, void *(*process)(void *arg), void *arg)
{
	thread_worker_t *worker=NULL, *member=NULL;

	worker = (thread_worker_t*)calloc(1, sizeof(thread_worker_t));
	if(NULL == worker)
	{
		return -1;
	}

	worker->process = process;
	worker->arg = arg;
	worker->next = NULL;

	pthread_mutex_lock(&(pool->queue_lock));

	member = pool->head;
	if(NULL != member)
	{
		while(NULL != member->next) member = member->next;
		member->next = worker;
	}
	else
	{
		pool->head = worker;
	}

	pool->queue_size++;

	pthread_mutex_unlock(&(pool->queue_lock));
	pthread_cond_signal(&(pool->queue_ready));

	return 0;
}

  

/*************************************************************
 **功  能:线程池的销毁
 **参  数:
 **    pool:线程池对象
 **返回值:0:成功 !0: 失败
 *************************************************************/
int thread_pool_destroy(thread_pool_t *pool)
{
	int idx = 0;
	thread_worker_t *member = NULL;

	if(false != pool->isdestroy)
	{
		return -1;
	}

	pool->isdestroy = true;

	pthread_cond_broadcast(&(pool->queue_ready));
	for(idx=0; idx<pool->num; idx++)
	{
		pthread_join(pool->threadid[idx], NULL);
	}

	free(pool->threadid);
	pool->threadid = NULL;

	while(NULL != pool->head)
	{
		member = pool->head;
		pool->head = member->next;
		free(member);
	}

	pthread_mutex_destroy(&(pool->queue_lock));
	pthread_cond_destroy(&(pool->queue_ready));
	free(pool);

	return 0;
}

  

/*************************************************************
 **功  能:线程池各个线程入口函数
 **参  数:
 **    arg:线程池对象
 **返回值:0:成功 !0: 失败
 *************************************************************/
static void *thread_routine(void *arg)
{
	thread_worker_t *worker = NULL;
	thread_pool_t *pool = (thread_pool_t*)arg;

	while(1)
	{
		pthread_mutex_lock(&(pool->queue_lock));
		while((false == pool->isdestroy) && (0 == pool->queue_size))
		{
			pthread_cond_wait(&(pool->queue_ready), &(pool->queue_lock));
		}

		if(false != pool->isdestroy)
		{
			pthread_mutex_unlock(&(pool->queue_lock));
			pthread_exit(NULL);
		}

		pool->queue_size--;
		worker = pool->head;
		pool->head = worker->next;
		pthread_mutex_unlock(&(pool->queue_lock));

                /* 执行队列中的任务 */
		(*(worker->process))(worker->arg);

		free(worker);
		worker = NULL;
	}
}

通用版代码:https://www.cnblogs.com/cthon/p/9097007.html  

难度升级版代码:https://www.cnblogs.com/cthon/p/9085623.html

原文地址:https://www.cnblogs.com/cthon/p/9097007.html

时间: 2024-10-11 08:02:04

线程池代码(通用版)的相关文章

多线程之线程池任务管理通用模板

已经一年多的时间没有使用多线程了.最近需要做一个异步发邮件的功能,为了给同事写一个例子,想起以前写的爬虫的时候, 一个带我的人给了我一个通用的模板类, 我觉得那个例子很好,于是我根据自己的理解,写出了如下的代码. 首先是一个通用的 计数器.包括 当前在运行的线程数Current,执行成功的数量Success,执行失败的数量Error,以及总完成数量Finish. 为了方便大家理解,我还是做一下简要的说明.大致过程是这样的: 首先有一批任务进来,需要把这些任务用多线程来处理.(我这里使用的是线程池

win32线程池代码(WinApi/C++)

健壮, 高效,易用,易于扩, 可用于任何C++编译器 //说明, 这段代码我用了很久, 我删除了自动调整规模的代码(因为他还不成熟)/*******************************************************************  Thread Pool For Win32 *  VC++ 6, BC++ 5.5(Free), GCC(Free)*  Update : 2004.6.9 llBird  [email protected] Use:1):vo

线程池代码

头文件head.h #ifndef __THREADPOOL_H_ #define __THREADPOOL_H_ typedef struct threadpool_t threadpool_t; /** * @function threadpool_create * @descCreates a threadpool_t object. * @param thr_num thread num * @param max_thr_num max thread size * @param queu

Java线程池代码实现

package com.fgy.demo07; public class RunnableImpl implements Runnable { @Override public void run() { System.out.println(Thread.currentThread().getName() + "创建了一个新的线程"); } } package com.fgy.demo07; public class ExtendsThread extends Thread { @Ov

使用 LinkedBlockingQueue 实现简易版线程池

前一阵子在做联系人的导入功能,使用POI组件解析Excel文件后获取到联系人列表,校验之后批量导入.单从技术层面来说,导入操作通常情况下是一个比较耗时的操作,而且如果联系人达到几万.几十万级别,必须拆分成为子任务来执行.综上,可以使用线程池来解决问题.技术选型上,没有采用已有的 ThreadPoolExecutor 框架,而使用了自制的简易版线程池.该简易版的线程池,其实也是一个简易版的[生产者-消费者]模型,任务的加入就像是生产的过程,任务的处理就像是消费的过程.我们在这里不去讨论方案的合理性

简单线程池原理和代码

线程池就是,预先创建一定数量的线程,然后当需要异步任务时,只要把任务放入队列中,线程池自动在队列中取任务,每执行完一个任务就自动取下一个任务 本文提供的是一个简单的线程池,所以并不提供线程的自动增减的功能,以比较简单的代码来理解其原理 代码只有一个文件,算上注释才勉强200行,由于代码较长就不全部贴在这里了. 线程池代码见Github[点击] 由于代码使用了一些c++11的东西,所以先需要复习一下以下几个东西:(不要被吓怕,就算不会其实也能懂下面的讲解,具体语法所表达的意思我会说明) std::

C实现线程池

第一部分为头文件 1 #ifndef __THREADPOOL_H_ 2 #define __THREADPOOL_H_ 3 4 typedef struct threadpool_t threadpool_t; 5 6 /** 7 * @function threadpool_create 8 * @descCreates a threadpool_t object. 9 * @param thr_num thread num 10 * @param max_thr_num max threa

linux下c的线程池

参考网上实现下c的线程池 代码更新:https://github.com/ljfly/pool #include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <sys/types.h> #include <pthread.h> #include <assert.h> typedef struct worker { void *(*process) (void *

线程池简单实现

实现了一个简化版的线程池. 实现线程池的关键有两个:一是阻塞队列,用于任务的存取,二是内部的线程对象如何持续性的执行任务,并在空闲时被回收. 线程池代码: 1 package learnConcurrent; 2 3 import java.util.ArrayList; 4 import java.util.Collection; 5 import java.util.LinkedList; 6 import java.util.List; 7 import java.util.concurr