Fork/Join编程模型

1.一种并行计算的多线程编程模型

2.开始--任务分割--多线程异步执行---任务合并--阻塞等待合并结果。（分治算法）

3.work-stealing算法：

　　每个线程维护一个各自的双端的链表，有新任务时之间插入的前端优先执行，前端无任务时，窃取其他线程双端链表的任务加入到自己的尾端进行处理。

　　通常的情况下，并发的线程池都是维护一个共享的任务队列，新任务到来时插入到队列的尾部，而线程执行任务时取队列的首部任务，而Fork/Join编

　　模型刚好相反，优先处理新任务，新任务放在最前面优先执行。自己的链表里面没有任务时，再执行尾部的任务（尾部的任务来自其他线程链表的尾部

　　任务，窃取了别人的任务加入到自己的尾部执行）

Fork/Join编程模型,布布扣,bubuko.com

时间： 2024-08-01 10:41:24

Fork/Join编程模型的相关文章

初步了解Fork/Join框架

框架介绍 Fork/Join框架是Java 7提供的一个用于并行执行任务的框架,是一个把大任务分割成若干个子任务,最终汇总每个子任务的执行结果以得到大任务结果的框架.Fork/Join框架要完成两件事情: 任务分割:Fork/Join框架需要把任务分割成足够小的子任务,如果子任务比较大,就对子任务继续分割: 执行任务并合并结果:分割的子任务分别放到双端队列里,然后几个启动线程分别从双端队列里获取任务执行.子任务执行完的结果都放在另外一个队列里,启动一个线程从队列里取数据,然后合并这些数据. 简单

java并发编程（10）Fork/Join

Fork/Join JAVA7中出现的Fork/Join,类似于分布式文件系统hadoop的mapreduce思想,就是将任务分割,再分割,直到分割到满足条件 为了便于理解:编程逻辑可以借用 递归的思想,层层递归,直到碰到最终调件,然后层层返回:而在Fork/Join中就是,类似把每个递归的方法,单独的放到一个线程中: 充分利用现代多核处理器,对任务进行并行处理 如: /** * 继承RecursiveTask 则每个子任务带返回值 * 继承RecursiveAction 则每个子任务不带返回值

Java 并发编程 -- Fork/Join 框架

概述 Fork/Join 框架是 Java7 提供的一个用于并行执行任务的框架,是一个把大任务分割成若干个小任务,最终汇总每个小任务结果后得到大任务结果的框架.下图是网上流传的 Fork Join 的运行流程图,直接拿过来用了: 工作窃取算法 工作窃取(work-stealing)算法是指某个线程从其他队列里窃取任务来执行.那么为什么要使用这个算法呢?假如我们需要做一个比较大的任务,可以把这个任务分割为若干个互不依赖的子任务,为了减少线程间的竞争,把这些子任务分别放到不同的队列里,并为每个队列创

Java并发编程--Fork/Join框架使用

上篇博客我们介绍了通过CyclicBarrier使线程同步,但是上述方法存在一个问题,那就是如果一个大任务跑了2个线程去完成,如果线程2耗时比线程1多2倍,线程1完成后必须等待线程2完成,等待的过程线程1没法复用.现在我们准备解决这个问题,我们希望线程1完成自己的任务后能去帮助线程2完成一部分任务.Java7引如了Fork/Join框架可以很好的解决这个问题. Fork/Join是一个用于并行执行任务的框架,是一个把大任务分割成若干个小任务,最后汇总每个小任务结果后得到大任务结果的框架.fork

Java并发编程从入门到精通 - 第7章：Fork/Join框架

1.综述:化繁为简,分而治之:递归的分解和合并,直到任务小到可以接受的程度:2.Future任务机制:  Future接口就是对于具体的Runnable或者Callable任务的执行结果进行取消.查询是否完成.获取结果:必要时可以通过get方法获取执行结果,该方法会阻塞直到任务会返回结果:也就是说Future接口提供三种功能:判断任务是否完成.能够中断任务.能够获取任务执行结果:  Future接口里面的常用方法:3.FutureTask:  FutureTask类是Future接口唯一的实现类

MapReduce编程模型

Map:-------分割 Reduce:---合并 ==== Batch,ESB: Splite:----分割 Aggert:---合并 Channel----管道 BPM Join fork task ========================================== 都是基于Job—Task的多线程编程模型实现,不同的仅仅是单一的文件系统存储还是分布式集群存储的文件系统(数据统一存储,数据分块存储在不同的机器里面,单一机器里面的数据不能单独使用,因为数据不全,而统一存储的

【专家坐堂】四种并发编程模型简介

本文来自网易云社区 概述 并发往往和并行一起被提及,但是我们应该明确的是"并发"不等同于"并行" ?       并发 :同一时间 对待 多件事情 (逻辑层面) ?       并行 :同一时间 做(执行) 多件事情 (物理层面) 并发可以构造出一种问题解决方法,该方法能够被用于并行化,从而让原本只能串行处理的事务并行化,更好地发挥出当前多核CPU,分布式集群的能力. 但是,并发编程和人们正常的思维方式是不一样的,因此才有了各种编程模型的抽象来帮助我们更方便,更不容

多线程编程模型

在学习muduo网络库前,应该先熟悉一下多线程网络服务编程模型.在6.6.2节介绍了11种方案.方案0到方案4用的是阻塞I/O.方案5到方案11用的都是阻塞I/O. 方案0: accept+read/write 方案0不是并发模型,只是一个循环处理.用代码表示的话,可以表示为: while(true) { int fd=accept(--); read(fd,--) or write(fd--); close(fd); } 一次只能处理一个连接,第一个连接处理完毕后,才可以进入下一次循环,否则阻

嵌入式 Linux网络编程（二）——TCP编程模型

嵌入式 Linux网络编程(二)--TCP编程模型 一.TCP编程模型 TCP编程的一般模型如下图: TCP编程模型分为客户端和服务器端编程,两者编程流程如下: TCP服务器端编程流程: A.创建套接字: B.绑定套接字: C.设置套接字为监听模式,进入被动接受连接状态: D.接受请求,建立连接: E.读写数据: F.终止连接. TCP客户端编程流程: A.创建套接字: B.与远程服务器建立连接: C.读写数据: D.终止连接. 二.TCP迭代服务器编程模型 TCP循环服务器接受一个客户端的连接