并行开发学习随笔1——plinq并行

这两天在看园友的文章

8天玩转并行开发——第三天 plinq的使用

对里面的第一个实例亲手实践了一下,发现了一点有意思的事情。

测试环境:.net 4.5 64位(如果是32位的,测试千万数据时会爆出out of memory的错误)

在我的机器上,千万数据的测试结果:

百万数据的测试结果:

十万数据的测试结果:

可以看出,到底使用串行还是并行应该根据数据量来决定,两者的大致就在几十万数据的时候性能基本接近。当然这个结果不是固定的,应该是与机器的配置以及测试时的系统环境有比较大的关系,实际使用时应该先测试而后决定。

另外我觉得在项目中使用时,应该自己建立一个类库,对外统一,内部根据数据量自定判断应该使用哪种类型的操作。

时间: 2024-10-12 20:37:46

并行开发学习随笔1——plinq并行的相关文章

并行开发 —— 第三篇 plinq的使用

1:AsParallel(并行化) 下面我们模拟给ConcurrentDictionary灌入1500w条记录,看看串行和并行效率上的差异,注意我的老爷机是2个硬件线程. using System; using System.Threading; using System.Threading.Tasks; using System.Diagnostics; using System.Collections.Concurrent; using System.Collections.Generic;

Android 开发学习随笔

(一).TextView 1.使用TextView显示文本信息 2.在resources标签下定义常量的标签 3.通过findViewById()方法获取控件对象,此方法返回的是一个View对象,需要强制类型转换 4.获取某个控件对象之前,一定要引用相应的布局 5.动态获取资源常量值需要获取Resources对象,Resources对象通过getResources()方法获得 (二).监听按钮点击事件 3种注册监听方式比较 匿名内部类:需要获取控件对象,使用变量不方便:适用于单个事件 实现接口:

百度DMLC分布式深度机器学习开源项目(简称“深盟”)上线了如xgboost(速度快效果好的Boosting模型)、CXXNET(极致的C++深度学习库)、Minerva(高效灵活的并行深度学习引擎)以及Parameter Server(一小时训练600T数据)等产品,在语音识别、OCR识别、人脸识别以及计算效率提升上发布了多个成熟产品。

百度为何开源深度机器学习平台? 有一系列领先优势的百度却选择开源其深度机器学习平台,为何交底自己的核心技术?深思之下,却是在面对业界无奈时的远见之举. 5月20日,百度在github上开源了其深度机器学习平台.此番发布的深度机器学习开源平台属于"深盟"的开源组织,其核心开发者来自百度深度学习研究院(IDL),微软亚洲研究院.华盛顿大学.纽约大学.香港科技大学,卡耐基·梅陇大学等知名公司和高校. 通过这一开源平台,世界各地的开发者们可以免费获得更优质和更容易使用的分布式机器学习算法源码,

VII (8) Python(并行开发)

VII8Python(并行开发) In [1]: import this The Zen of Python, by Tim Peters Beautiful is better than ugly. Explicit is better than implicit. Simple is better than complex. Complex is better than complicated. Flat is better than nested. Sparse is better tha

SpeeDO —— 并行深度学习系统

SpeeDO —— 并行深度学习系统 摘要: 最近,AlphaGo又带起了一波深度学习的热潮.深度学习在很多领域都大幅提高了模型的精度,使得很多以前在实验室中的技术得以运用到日常的生活之中.然而,大多数深度学习网络非常复杂,需要大量的训练样本进行训练, ... 最近,AlphaGo又带起了一波深度学习的热潮.深度学习在很多领域都大幅提高了模型的精度,使得很多以前在实验室中的技术得以运用到日常的生活之中.然而,大多数深度学习网络非常复杂,需要大量的训练样本进行训练,很多网络需要一次训练,同时额外多

【翻译】CEDEC2014跨世代多平台并行开发PS4版如龙维新开发的一年

本篇PPT讲述的是如龙4的开发过程中,集中在PS3和PS4并行开发中所遇到和解决的一些问题.如64位指针,DX9向DX11移植API的问题,以及在PS4上使用并行渲染在1080P下让FPS达到60等.涉及的实际技术并不是多也不新,不过对家用机有兴趣的朋友可以也可以稍微了解下. 下载地址: 链接: http://pan.baidu.com/s/1hqy3tWS 密码: jlf8 西川善司对这篇PPT也有一个解说版,链接在这里,如果有兴趣的可以看看再来讨论. http://www.4gamer.ne

.NET下的并行开发(案例代码)

以下主要是通过一个报表处理程序来说明并行开发的方式.对于数据冲突和共享,可以通过对象数组解决.设计到并行的核心代码已用红色标出.在并行程序的处理上,需要把原来串行的子公司变成一个一个类的对象,让所有的类对象一起并行运行就达到提高响应速率的目的了.并行设计中,主要的还是编程的思想,并行的语法,规则都是规划好的.好的工具就看你如何使用了. using System;using System.Data;using System.Configuration;using System.Collection

并行开发——Parallel的使用 -摘自网络

随着多核时代的到来,并行开发越来越展示出它的强大威力,像我们这样的码农再也不用过多的关注底层线程的实现和手工控制, 要了解并行开发,需要先了解下两个概念:“硬件线程”和“软件线程”. 1. 硬件线程 相信大家手头的电脑都是双核以上的,像我这样古董的电脑都是双核的,这样的双核叫做物理内核. 硬件线程又叫做逻辑内核,我们可以在”任务管理器“中查看”性能“标签页,如下图,我们知道有2个硬件线程. 一般情况下,一个物理内核对应一个逻辑内核,比如我这里的2对2.当然如果你的cpu采用的是超线程技术,那么可

.NET下的并行开发

并行开发一直是程序员在开发项目中遇到的一道坎,但为了迎合硬件的升级,面对高端多核的处理器,并行编程势在必行.在.NET平台下的开发支持并行模式,下面用一个实际项目说明并行的高效率和神奇之处. 在优化中国铁建企业经营管理系统时,遇到一个迫切需要解决的问题.就是报表处理响应时间的问题,在系统最初数据较少,导出报表响应时间较快.但是随着数据的不断扩充,就一个分局的数据导出(大概600条)也需要5分钟左右,当然这个和电脑的配置相关.若是总股份公司的项目报表导出(6000条左右),那个时间在普通的电脑上根