多线程原理分析

转(http://www.cnblogs.com/guguli/p/5198894.html)

  Java对象实例的锁一共有四种状态:无锁,偏向锁,轻量锁和重量锁。原始脱离框架的并发应用大部分都需要手动完成加锁释放,最直接的就是使用synchronized和volatile关键字对某个对象或者代码块加锁从而限制每次访问的次数,从对象之间的竞争也可以实现到对象之间的协作。但是这样手动实现出来的应用不仅耗费时间而且性能表现往往又有待提升。顺带一提,之前写过一篇文章介绍我基于Qt和Linux实现的一个多线程下载器(到这里不需要更多了解这个下载器,请直接继续阅读),就拿这个下载器做一次反例:

  首先,一个下载器最愚蠢的问题之一就是把下载线程的个数交由给用户去配置。比如一个用户会认为负责下载的线程个数是越多越好,干脆配置了50个线程去下载一份任务,那么这个下载器的性能表现甚至会不如一个单进程的下载程序。最直接的原因就是JVM花费了很多计算资源在线程之间的上下文切换上面,对于一个并发的应用:如果是CPU密集型的任务,那么良好的线程个数是实际CPU处理器的个数的1倍;如果是I/O密集型的任务,那么良好的线程个数是实际CPU处理器个数的1.5倍到2倍(具体记不清这句话是出于哪里了,但还是可信的)。不恰当的执行线程个数会给线程抖动,CPU抖动等隐患埋下伏笔。如果,重新开发那么我一定会使用这种线程池的方法使用生产者和消费者的关系模式,异步处理HTTP传输过来的报文。

  其次,由于HTTP报文的接受等待的时间可能需要等待很久,然而处理报文解析格式等等消耗的计算资源是相当较小的。同步地处理这两件事情必然会使下载进程在一段时间内空转或者阻塞,这样处理也是非常不合理的。如果重新开发,一定要解耦HTTP报文的接收和HTTP报文的解析,这里尽管也可以使用线程池去进行处理,显而易见由于这样去做的性能提升其实是很小的,所以没有必要去实现,单线程也可以快速完成报文的解析。

  Okay,回到主题,总而言之是线程之间的上下文切换导致了性能的降低。那么具体应该怎么样去做才可以减少上下文的切换呢?



  1. 无锁并发编程

    多线程竞争锁时,会引起上下文切换,所以多线程处理数据时,可以用一些办法来避免使用锁,如将数据的ID按照Hash算法取模分段,不同的线程去处理不同段的数据。

  2. CAS算法

    Java的Atomic包内使用CAS算法来更新数据,而不需要加锁(但是线程的空转还是存在)。

  3. 使用最少线程

    避免创建不需要的线程,比如任务很少,但是创建很多线程来处理,这样会造成大量线程都处于等待状态。

  4. 协程

    在单线程里实现多任务的调度,并在单线程里维持多个任务间的切换。



  总的来说使用Java线程池会带来以下3个好处:

  1. 降低资源消耗:      通过重复利用已创建的线程降低线程创建和销毁造成的消耗。

  2. 提高响应速度:      当任务到达时,任务可以不需要等到线程创建就能立即执行。

  3. 提高线程的可管理性:   线程是稀缺资源,如果无限制的创建。不仅仅会降低系统的稳定性,使用线程池可以统一分配,调优和监控。但是要做到合理的利用线程池。必须对于其实现原理了如指掌。

线程池的实现原理如下图所示:

 Executor框架的两级调度模型:

  在HotSpot VM线程模型中,Java线程被一对一的映射为本地操作系统线程,Java线程启动时会创建一个本地操作系统线程,当该Java线程终止时,这个操作系统也会被回收。操作系统会调度并将它们分配给可用的CPU。

  在上层,Java多线程程序通常把应用分解为若干个任务,然后把用户级的调度器(Executor框架)将这些映射为固定数量的线程;在底层,操作系统内核将这些线程映射到硬件处理器上。这种两级调度模型实质是一种工作单元和执行机制的解偶。

Fork/Join框架的递归调度模型:

  要提高应用程序在多核处理器上的执行效率,只能想办法提高应用程序的本身的并行能力。常规的做法就是使用多线程,让更多的任务同时处理,或者让一部分操作异步执行,这种简单的多线程处理方式在处理器核心数比较少的情况下能够有效地利用处理资源,因为在处理器核心比较少的情况下,让不多的几个任务并行执行即可。但是当处理器核心数发展很大的数目,上百上千的时候,这种按任务的并发处理方法也不能充分利用处理资源,因为一般的应用程序没有那么多的并发处理任务(服务器程序是个例外)。所以,只能考虑把一个任务拆分为多个单元,每个单元分别得执行最后合并每个单元的结果。一个任务的并行拆分,一种方法就是寄希望于硬件平台或者操作系统,但是目前这个领域还没有很好的结果。另一种方案就是还是只有依靠应用程序本身对任务经行拆封执行。

  Fork/Join模型乍看起来很像借鉴了MapReduce,但是具体不敢肯定是什么原因,实际用起来的性能提升是远不如Executor的。甚至在递归栈到了十层以上的时候,JVM会卡死或者崩溃,从计算机的物理原理来看,Fork/Join框架实际效能也没有想象中的那么美好,所以这篇只稍微谈一下,不再深究。



Executor框架主要由三个部分组成:任务,任务的执行,异步计算的结果。

主要的类和接口简介如下:

1. Executor是一个接口,它将任务的提交和任务的执行分离。

2. ThreadPoolExecutor是线程池的核心,用来执行被提交的类。

3. Future接口和实现Future接口的FutureTask类,代表异步计算的结果。

4. Runnable接口和Callable接口的实现类,都可以被ThreadPoolExecutor或其他执行。

先看一个直接的例子(用SingleThreadExecutor来实现,具体原理下面会阐述):

 1 public class ExecutorDemo {  2   3   4     public static void main(String[] args){  5   6         //ExecutorService fixed= Executors.newFixedThreadPool(4);  7         ExecutorService single=Executors.newSingleThreadExecutor();  8         //ExecutorService cached=Executors.newCachedThreadPool();  9         //ExecutorService sched=Executors.newScheduledThreadPool(4); 11          12         Callable<String> callable=Executors.callable(new Runnable() { 13             @Override 14             public void run() { 15                 for(int i=0;i<100;i++){ 16                     try{ 17                         System.out.println(i); 18                     }catch(Throwable e){ 19                         e.printStackTrace(); 20                     } 21                 } 22             } 23         },"success"); 24      //这里抖了个机灵,用Executors工具类的callable方法将一个匿名Runnable对象装饰为Callable对象作为参数 25         Future<String> f=single.submit(callable); 26         try { 27             System.out.println(f.get()); 28             single.shutdown(); 29         }catch(Throwable e){ 30             e.printStackTrace(); 31         } 32     } 33 }

如代码中所示,常用一共有四种Exector实现类通过Executors的工厂方法来创建Executor的实例,其具体差别及特点如下所示:

1. FixedThreadPool

  这个是我个人最常用的实现类,在Java中最直接的使用方法就是和 Runtime.getRuntime().availableProcessors() 一起使用分配处理器个数个的Executor。内部结构大致如下:

  创造实例的函数为:  Executors.newFixedThreadPool(int nThread);

  在JDK1.7里java.util.concurrent包中的源码中队列使用的是new LinkedBlockingQueue<Runnable>,这是一个无界的队列,也就是说任务有可能无限地积压在这个等待队列之中,实际使用是存在一定的隐患。但是构造起来相当比较容易,我个人建议在使用的过程之中不断查询size()来保证该阻塞队列不会无限地生长。

2. SingleThreadExecutor

和 Executors.newFixedThreadPool(1) 完全等价。

3. CachedThreadPool

  和之前两个实现类完全不同的是,这里使用SynchronousQueue替换LinkedBlockingQueue。简单提一下SynchronousQueue是一个没有容量的队列,一个offer必须对应一个poll,当然所谓poll操作是由实际JVM工作线程来进行的,所以对于使用开发者来讲,这是一个会因为工作线程饱和而阻塞的线程池。(这个和java.util.concurrent.Exchanger的作用有些相似,但是Exchanger只是对于两个JVM线程的,而SynchronousQueue的阻塞机制是多个生产者和多个消费者而言的。)

4. ScheduledThreadPoolExecutor

  这个实现类内部使用的是DelayQueue。DelayQueue实际上是一个优先级队列的封装。时间早的任务会拥有更高的优先级。它主要用来在给定的延迟之后运行任务,或者定期执行任务。ScheduledThreadPoolExecutor的功能与Timer类似,但ScheduledThreadPoolExecutor比Timer更加灵活,而且可以有多个后台线程在构造函数之中指定。

Future接口和ListenableFurture接口

  Future接口为异步计算取回结果提供了一个存根(stub),然而这样每次调用Future接口的get方法取回计算结果往往是需要面临阻塞的可能性。这样在最坏的情况下,异步计算和同步计算的消耗是一致的。Guava库中因此提供一个非常强大的装饰后的Future接口,使用观察者模式为在异步计算完成之后马上执行addListener指定一个Runnable对象,从实现“完成立即通知”。这里提供一个有效的Tutorial :http://ifeve.com/google-guava-listenablefuture/

时间: 2024-08-01 10:43:51

多线程原理分析的相关文章

java 多线程原理分析

一.为什么使用线程池 1.降低资源消耗,减少线程创建和销毁次数,每个工作线程可以重复利用,执行多个任务 2.可根据系统承受能力,调整工作线程的数目,防止消耗过多的内存 二.java 线程池使用 ExecutorService 真正的线程池接口. ScheduledExecutorService 能和Timer/TimerTask类似,解决那些需要任务重复执行的问题. ThreadPoolExecutor ExecutorService的默认实现. ScheduledThreadPoolExecu

AbstractQueuedSynchronizer的介绍和原理分析(转)

简介 提供了一个基于FIFO队列,可以用于构建锁或者其他相关同步装置的基础框架.该同步器(以下简称同步器)利用了一个int来表示状态,期望它能够成为实现大部分同步需求的基础.使用的方法是继承,子类通过继承同步器并需要实现它的方法来管理其状态,管理的方式就是通过类似acquire和release的方式来操纵状态.然而多线程环境中对状态的操纵必须确保原子性,因此子类对于状态的把握,需要使用这个同步器提供的以下三个方法对状态进行操作: java.util.concurrent.locks.Abstra

Android 4.4 KitKat NotificationManagerService使用详解与原理分析(一)__使用详解

概况 Android在4.3的版本中(即API 18)加入了NotificationListenerService,根据SDK的描述(AndroidDeveloper)可以知道,当系统收到新的通知或者通知被删除时,会触发NotificationListenerService的回调方法.同时在Android 4.4 中新增了Notification.extras 字段,也就是说可以使用NotificationListenerService获取系统通知具体信息,这在以前是需要用反射来实现的. 转载请

深入理解HTTP协议、HTTP协议原理分析

深入理解HTTP协议.HTTP协议原理分析 目录(?)[+] http协议学习系列 1. 基础概念篇 1.1 介绍 HTTP是Hyper Text Transfer Protocol(超文本传输协议)的缩写.它的发展是万维网协会(World Wide Web Consortium)和Internet工作小组IETF(Internet Engineering Task Force)合作的结果,(他们)最终发布了一系列的RFC,RFC 1945定义了HTTP/1.0版本.其中最著名的就是RFC 26

BT下载原理分析

版权声明:本文为博主原创文章,未经博主允许不得转载. BitTorrent协议. BT全名为BitTorrent,是一个p2p软件,你在下载download的同时,也在为其他用户提供上传upload,因为大家是“互相帮助”,所以不会随着用户数的增加而降低下载速度. 下面是一般用ftp,http等分享流程: 下面是用BitTorrent分享的流程: 其实跟ED也十分相似,ED跟BT不同的地方有: ED--要连上一个固定server BT--没有固定server,只要分享者制作出该分享档案的.tor

Chromium和WebKit的智能指针实现原理分析

C++不像Java一样,由虚拟机负责对象分配和释放.也就是说,开发人员使用C++编写代码时,要自己负责对象分配和释放.WebKit和Chromium都是使用C++开发的,因此它们也面临上述问题.在解决对象释放问题时,要做到在对象不需要时自动释放,因为手动释放会带来忘记释放或者释放后又继续使用的隐患.智能指针是实现对象自动释放的有效技术手段.本文就分析Chromium和WebKit的智能指针的实现. 老罗的新浪微博:http://weibo.com/shengyangluo,欢迎关注! 在现实中,

转载:AbstractQueuedSynchronizer的介绍和原理分析

简介 提供了一个基于FIFO队列,可以用于构建锁或者其他相关同步装置的基础框架.该同步器(以下简称同步器)利用了一个int来表示状态,期望它能够成为实现大部分同步需求的基础.使用的方法是继承,子类通过继承同步器并需要实现它的方法来管理其状态,管理的方式就是通过类似acquire和release的方式来操纵状态.然而多线程环境中对状态的操纵必须确保原子性,因此子类对于状态的把握,需要使用这个同步器提供的以下三个方法对状态进行操作: java.util.concurrent.locks.Abstra

Handler系列之原理分析

上一节我们讲解了Handler的基本使用方法,也是平时大家用到的最多的使用方式.那么本节让我们来学习一下Handler的工作原理吧!!! 我们知道Android中我们只能在ui线程(主线程)更新ui信息,那么你们知道为什么只能通过Handler机制更新ui吗?其实最根本的目的就是解决多线程并发的问题. 假设在一个Activity中有多个线程去更新ui,并且都没有加锁,那么会是什么样子? 导致的结果就是更新界面错乱. 如果对更新ui的操作都进行加锁处理的话又产生什么问题哪? 性能下降. 处于对以上

Handler 原理分析和使用之HandlerThread

前面已经提到过Handler的原理以及Handler的三种用法.这里做一个非常简单的一个总结: Handler 是跨线程的Message处理.负责把Message推送到MessageQueue和处理. Looper 用来轮询MessageQueue,获取Message 发送给指定的Handler进行处理. Looper 需要和线程绑定,绑定那个线程,Handler就会在那个线程处理Message 前两篇文章使用Handler处理的场景是:主线程(UI线程)被子线程更新.即使用主线程的Handle