半同步/半反应堆线程池实现

半同步/半反应堆线程池:主线程监听listen socket和接收到的所有连接socket,当有客户端请求任务时,将任务对象插入到工作任务对象中;等待在任务队列上的工作线程通过竞争来取得任务对象并处理之。其中的工作任务队列完成了主线程与工作线程之间的解耦,但是由于同一客户连接的任务请求可能由不同的线程来处理,所以这要求所有的客户请求是无状态的。

具体细节,尽在代码中

#ifndef THREADPOOL_H
#define THREADPOOL_H

#include <list>
#include <cstdio>
#include <exception>
#include <pthread.h>
#include "locker.h"

//线程池类:模板参数为任务对象
template< typename T >
class threadpool
{
public:
    threadpool( int thread_number = 8, int max_requests = 10000 );
    ~threadpool();
    bool append( T* request );//主线程向任务队列中添加任务

private:
//注意:(当把线程函数封装在类中,this指针会作为默认的参数被传进函数中,从而和线程函数参数(void*)不能匹配。
//解决: 线程函数作为静态函数,因为在C++中静态函数没有this指针)
    static void* worker( void* arg ); //工程线程运行函数:调用run函数,从工作队列中取出任务,进而调用任务对象的处理函数进程任务处理
    void run();

private:
    int m_thread_number; //线程池中的线程数
    int m_max_requests;//最大请求数量
    pthread_t* m_threads;//线程数组
    std::list< T* > m_workqueue;//请求队列
    locker m_queuelocker;//请求队列的互斥锁
    sem m_queuestat;//信号量:是否有任务需要处理
    bool m_stop; //是否需要结束线程
};

template< typename T >
threadpool< T >::threadpool( int thread_number, int max_requests ) :
        m_thread_number( thread_number ), m_max_requests( max_requests ), m_stop( false ), m_threads( NULL )
{
    if( ( thread_number <= 0 ) || ( max_requests <= 0 ) )
    {
        throw std::exception();
    }

    m_threads = new pthread_t[ m_thread_number ];
    if( ! m_threads )
    {
        throw std::exception();
    }

    for ( int i = 0; i < thread_number; ++i )
    {
        printf( "create the %dth thread\n", i );
        if( pthread_create( m_threads + i, NULL, worker, this ) != 0 )//创建线程(注意线程函数为静态成员函数,且将this指针作为参数,以访问进程池的成员变量)
        {
            delete [] m_threads;
            throw std::exception();
        }
        if( pthread_detach( m_threads[i] ) )  //将工作线程设置为脱离线程(当脱离线程退出时,系统会自动回收该线程的资源),否则需要其他线程来回收该线程的资源
        {
            delete [] m_threads;
            throw std::exception();
        }
    }
}

template< typename T >
threadpool< T >::~threadpool()
{
    delete [] m_threads;
    m_stop = true;
}

//主线程将新任务加入任务队列
template< typename T >
bool threadpool< T >::append( T* request )
{
    m_queuelocker.lock();//由于任务队列被所有线程共享,因此需要先加锁
    if ( m_workqueue.size() > m_max_requests )
    {
        m_queuelocker.unlock();
        return false;
    }
    m_workqueue.push_back( request );
    m_queuelocker.unlock();
    m_queuestat.post();//将信号量+1,如果大于0,则唤醒等待该信号量的工作线程
    return true;
}

//线程函数
template< typename T >
void* threadpool< T >::worker( void* arg )
{
    threadpool* pool = ( threadpool* )arg;
    pool->run();
    return pool;
}

//工作线程的处理函数:从任务队列中取出任务对象,然后调用任务对象的逻辑处理函数完成客户请求任务
template< typename T >
void threadpool< T >::run()
{
    while ( ! m_stop )
    {
        m_queuestat.wait();//等待信号量大于0
        m_queuelocker.lock();//锁住任务队列
        if ( m_workqueue.empty() )
        {
            m_queuelocker.unlock();
            continue;
        }
        T* request = m_workqueue.front();//取出任务对象
        m_workqueue.pop_front();
        m_queuelocker.unlock();
        if ( ! request )
        {
            continue;
        }
        request->process();//处理客户任务
    }
}

#endif

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-12-17 03:53:36

半同步/半反应堆线程池实现的相关文章

使用C++11 开发一个半同步半异步线程池

摘自:<深入应用C++11>第九章 实际中,主要有两种方法处理大量的并发任务,一种是一个请求由系统产生一个相应的处理请求的线程(一对一) 另外一种是系统预先生成一些用于处理请求的进程,当请求的任务来临时,先放入同步队列中,分配一个处理请求的进程去处理任务, 线程处理完任务后还可以重用,不会销毁,而是等待下次任务的到来.(一对多的线程池技术) 线程池技术,能避免大量线程的创建和销毁动作,节省资源,对于多核处理器,由于线程被分派配到多个cpu,会提高并行处理的效率. 线程池技术分为半同步半异步线程

c++11 实现半同步半异步线程池

感受: 随着深入学习,现代c++给我带来越来越多的惊喜- c++真的变强大了. 半同步半异步线程池: 其实很好理解,分为三层 同步层:通过IO复用或者其他多线程多进程等不断的将待处理事件添加到队列中,这个过程是同步进行的. 队列层:所有待处理事件都会放到这里.上一层事件放到这里,下一层从这里获取事件 异步层:事先创建好线程,让瞎猜呢和嗯不断的去处理队列层的任务,上层不关心这些,它只负责把任务放到队列里,所以对上层来说这里是异步的. 看张图: 如果你不熟悉c++11的内容 以下文章仅供参考 c++

半同步半异步线程池的实现(C++11)

简介 处理大量并发任务时,一个请求对应一个线程来处理任务,线程的创建和销毁将消耗过多的系统资源,并增加上下文切换代价.线程池技术通过在系统中预先创建一定数量的线程(通常和cpu核数相同),当任务到达时,从线程池中分配一个线程进行处理,线程在处理完任务之后不用销毁,等待重用. 线程池包括半同步半异步和领导者追随者两种实现方式.线程池包括三部分,第一层是同步服务层,它处理来自上层的任务请求.第二层是同步队列层,同步服务层中的任务将添加到队列中.第三层是异步服务层,多个线程同时处理队列中的任务. 先贴

(原创)C++半同步半异步线程池2

(原创)C++半同步半异步线程池 c++11 boost技术交流群:296561497,欢迎大家来交流技术. 线程池可以高效的处理任务,线程池中开启多个线程,等待同步队列中的任务到来,任务到来多个线程会抢着执行任务,当到来的任务太多,达到上限时需要等待片刻,任务上限保证内存不会溢出.线程池的效率和cpu核数相关,多核的话效率更高,线程数一般取cpu数量+2比较合适,否则线程过多,线程切换频繁反而会导致效率降低. 线程池有两个活动过程:1.外面不停的往线程池添加任务:2.线程池内部不停的取任务执行

半同步/半异步并发模式进程池实现

半同步/半异步并发模式:父进程监听到新的客户端连接请求后,以通信管道通知进程池中的某一子进程:"嘿,有新的客户连接来了,你去accept,然后处理下!",从而避免在进程间传递文件描述符.这种模式中,一个客户连接上的所有任务始终有同一个进程来处理. 具体细节,尽在代码中: #ifndef PROCESSPOOL_H #define PROCESSPOOL_H #include <sys/types.h> #include <sys/socket.h> #inclu

两种高效的并发模式(半同步/半异步和领导者/追随者)

一.并发编程与并发模式 并发编程主要是为了让程序同时执行多个任务,并发编程对计算精密型没有优势,反而由于任务的切换使得效率变低.如果程序是IO精密型的,则由于IO操作远没有CPU的计算速度快,所以让程序阻塞于IO操作将浪费大量的CPU时间.如果程序有多个线程,则当前被IO操作阻塞的线程可主动放弃CPU,将执行权转给其它线程.(*IO精密型和cpu精密型可以参考此文:CPU-bound(计算密集型) 和I/O bound(I/O密集型)) 并发编程主要有多线程和多进程,这里我们先讨论并发模式,并发

半同步半异步高性能网络编程

网络编程的模式分为3种: 1. nginx的全异步方式,使用epoll处理网络数据.对于请求的处理也全然是异步的. 不论什么一个请求的处理假设花费了较长时间,那么nginx进程就会被处理操作堵塞,导致无法处理IO事件 2. 简单的一个连接一个线程方案.这样的方案无法处理大量并发的连接.适用mysql这类连接数不多的场景.当中也有一些优化的做法,比如使用线程池避免不断的创建销毁线程. 3. 半同步半异步方式,启动一个IO线程使用epoll处理网络数据. 当收到一个完整的请求包,把请求放到任务队列.

memcached源码分析-----半同步半异步网络模型

转载请注明出处:http://blog.csdn.net/luotuo44/article/details/42705475 半同步/半异步: memcached使用半同步/半异步网络模型处理客户端的连接和通信. 半同步/半异步模型的基础设施:主线程创建多个子线程(这些子线程也称为worker线程),每一个线程都维持自己的事件循环,即每个线程都有自己的epoll,并且都会调用epoll_wait函数进入事件监听状态.每一个worker线程(子线程)和主线程之间都用一条管道相互通信.每一个子线程都

半同步半异步I/O的设计模式(half sync/half async)

半同步半异步I/O的设计模式(half sync/half async) c++实现半同步半异步I/O的设计模式(half sync/half async)