python并行编程学习之绪论

计算机科学的研究,不仅应该涵盖计算处理所基于的原理,还因该反映这些领域目前的知识状态。当今,计算机技术要求来自计算机科学所有分支的专业人员理解计算机处理的基础的关键,在于知道软件和硬件在所有层面上的交互。

直到现在,程序员可以依赖于硬件设计者,编译器和芯片厂商,来使他们的软件程序运行更快或者更有效,而无须改变他们的程序。但是,在实际中,如果一个程序运行的更快,它肯定是一个并行程序。尽管很多研究者的目标是保证程序员在编写他们的程序的时,无需注意硬件的并行特征,但是,要实现这一点,还将需要很多年的时间才有可能。所以在现在,程序员需完全的理解硬件和软件之间的联系,以使他们的程序可以在现代计算机结构中有效地运行。

在计算机编程中,解决一个规模较大的问题的典型方式是,将这个问题分成更小的以及独立的部分,以便同时解决所有问题。并行编程,恰恰倾向于使用这种方式,通过使用多个处理器核进行同时工作,来完成一个共同的任务。每个处理器核解决这个问题的一部分(独立的部分)。此外,在处理器核计算的过程中,数据信息的交互将会在它们之间发生,这样就会涉及到,这么一个问题,对数据信息读取的先后,即如何解决内存访问冲突的问题,当然,这也跟计算机体系结构有所关系,这将在后续内容中进行总结和分析。

现今,很多软件应用都要求更强的计算能力,一种方式来实现这个目标是增强每个处理器核的运行速度或者去增强每片芯片的处理器核数目。但是,这种方式会带来以下的负面影响,例如,提高处理器的运行速度会产生额外的热能损耗,因此性能的提升会带来一瓦特甚至更多的能量损耗,这就对设备的冷却性能有所要求;而增强处理器核的数目看起来是一种很好的选择,因为能量损耗和耗散受到限制,但是,性能却没有显著的提升。

为了解决这个问题,现在的计算机硬件厂商都采取一种多核架构。而采取并行编程,很好的利用这种架构设计,可以使可用计算资源得以充分利用。

原文地址:https://www.cnblogs.com/sgatbl/p/9219218.html

时间: 2024-12-23 05:04:15

python并行编程学习之绪论的相关文章

Python 函数式编程学习

描述:通过将函数作为参数,使得功能类似的函数实现可以整合到同一个函数. Before 1 def getAdd(lst): 2 result = 0 3 for item in lst: 4 result += item 5 return result 6 7 def getMul(lst): 8 result = 1 9 for item in lst: 10 result *= item 11 return result 12 13 print getAdd([1,2,3,4]) 14 pr

python并行编程

并行编程的思想:分而治之,有两种模型 1.MapReduce:将任务划分为可并行的多个子任务,每个子任务完成后合并得到结果 例子:统计不同形状的个数. 先通过map进行映射到多个子任务,分别统计个数,然后在用reduce进行归纳一下. 2.流水:将任务分为串行的多个子任务,每个子任务并行.ProductConsume 例子: 多个生产者进行并行,多个消费者进行并行.生产者生产出来东西放到队列里:队列里有东西时,消费者就可以进行消费,这样双方没有太大的依赖关系. 为什么要并行编程呢? 多核,云计算

Python并行编程的几个要点

一.基于线程的并行编程 如何使用Python的线程模块 如何定义一个线程 如何探测一个线程 如何在一个子类中使用线程 Lock和RLock实现线程同步 信号实现线程同步 条件(condition)实现线程同步 事件(event)实现线程同步 如何使用with语句 使用队列实现线程消息传递 如何评估多线程应用的性能 兑现成编程的危险 二.基于进程的并行编程 如何使用Python的multiprocessing模块 如何生成一个进程 如何命名一个进程 如何在后台运行一个进程 如何杀死一个进程 如何在

python+web编程学习总结记录(一)

近来一个多星期一直在学习py的web编程,从零开始,短暂时间接受的很多知识都需要消化吸收,所以在这里把这个过程梳理一遍,尽量用自己的语言去描述这些知识点. 首先是web编程的必备知识:HTTP协议.超文本传输协议(HTTP),是一种通信协议,按照定义来直接去看容易一头雾水,但其实只需要了解:web服务器和客户端之间交流,必须要遵守统一的规矩,不然就跟你说汉语我说英文一样,互相不知对方在说什么.这个统一的规矩或者格式就是HTTP协议 而服务器和客户端之间的通信方式简而言之就是,客户端给服务器发了一

python网络编程学习《一》

最近,刚实习完,很喜欢实验楼,但是自己的方向仍然不能确定,自己觉得可选择的空间很大,尽管已经是大四的人了,想到别人都在忙着买职业装,买高跟鞋面试,学习化妆什么的,看看自己,反而开始慢慢关注运动,食疗以及护肤了,哈哈,程序员就是酱紫,身体是革命的本钱.现在的方向至少是确定了,数据分析,但是图像处理这个项目既然当初选择当负责人,现在也要负责啊:那么目前学习网络编程,也是因为学长希望在“wind”的登陆上面实现c/s架构,那么我就试试吧,说不定,自己在量化投资或者网络上面也是可以的捏.废话不说,进入学

Python并行编程(十一):基于进程的并行

1.基本概念 多进程主要用multiprocessing和mpi4py这两个模块. multiprocessing是Python标准库中的模块,实现了共享内存机制,可以让运行在不同处理器核心的进程能读取共享内存. mpi4py库实现了消息传递的编程范例(设计模式).简单来说就是进程之间不靠任何共享信息来进行通讯,所有的交流都通过传递信息代替. 这与使用共享内存通讯.加锁或类似机制实现互斥的技术形成对比.在信息传递的代码中,进程通过send和receive进行交流. 2.创建一个进程 由父进程创建

Python网络编程学习_Day10

一.进程与线程 1.区别 进程:一个程序要运行时所需要的所有资源的集合,进程是资源的集合. 一个进程至少需要一个线程,这个线程称为主线程 一个进程里面可以有多个线程 两个进程之间的数据是完全独立,不能互相访问. 线程:一道单一的指令控制流,寄生在进程中. 单一进程里多个进程是共享数据的,多个线程在涉及修改同一个数据时,要加锁. 2.线程调用方法 import threading import time def sayhi(num): #定义每个线程要运行的函数 print("running on

Python网络编程学习_day11

一.协程 1.理论知识 协程,又称伪线程,是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈,协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈.因此:协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置. 优点: 无需线程上下文切换的开销 无需原子操作锁定及同步的开销 "原子操作(atomic operation)是不需要synchronize

Python并行编程(十):多线程性能评估

1.基本概念 GIL是CPython解释器引入的锁,GIL在解释器层面阻止了真正的并行运行.解释器在执行任何线程之前,必须等待当前正在运行的线程释放GIL,事实上,解释器会强迫想要运行的线程必须拿到GIL才能访问解释器的任何资源,例如栈或Python对象等,这也正是GIL的目的,为了阻止不同的线程并发访问Python对象.这样GIL可以保护解释器的内存,让垃圾回收工作正常.但事实上,这却造成了程序员无法通过并行执行多线程来提高程序的性能.如果我们去掉GIL,就可以实现真正的并行.GIL并没有影响