关于高性能的那点事

园子里面很多关于高性能,大并发,还有什么日pv百万的架构搭建。其实真心真心很扯淡。对于大部分应用来说,想要高性能,主要是要做到尽可能的减少网络请求(含db、redis、mongo、mq等)。几乎所有的应用,性能瓶颈永远是在带宽那里,硬件方面这里就不提了,说说我们能做的事。

找了半天没有找到那张图,关于各个组件到cpu的时间周期,我用文字描述一下,L1>L2>memory>disk>internet。

有人说redis性能高,做大并发,大数据访问必须要用,有人说mongo性能高,什么zeromq等等一系列的,其实都是渣。

先说网络请求,关于tcp/ip:

大家都知道ip是逐跳协议,也就是说我只能从一个路由器,到下一个路由器,再到下一个路由器,如果你的电脑到服务器,中途要经过很多个路由器,那时间周期就会长很多很多恨多。为什么要做cdn、p2p等也是这个考虑,缩短网络的路径(降低带宽承载也是一方面)。

再说redis、mongo:

举个简单的例子,我有一个游戏服务器,在线人数约4000,里面是一个状态机在跑,需要不断的去检测各种状态,经验,星座,任务开放,技能开放等等。一个玩家大约10个状态的判定,4000个玩家必须在200ms之内检测完毕,不然延迟会很严重,那1s就是大约执行5次,如果每一次数据都去redis去取,大约是5*10*4000 = 200k次,别说redis,怎样的牛B的服务器都顶不住,这还是只有1个服。

那么问题来了:怎么解决呢?

把数据放在内存里面,直接从内存取,然后foreach。大部分的应用优化到这里,基本上应付所谓的日pv百万,就不是什么问题了。

到了这一步,那么问题来了,对于内部应用,比如分布式文件存储,数据分析,任务调度。肿么破?

对于大数据,其实一直是一个伪命题,数据量太大属于硬伤。所有的做大数据处理的,都是把数据分成小数据,然后分块来处理,最后再合并。其实从mysql,oracle,mssql等一系列rmdb的分区,分库上的处理就可以看出来。想要提高性能,必须要做到,每个模块处理的数据量,都是细分到了一定粒度的。这个时候index, group, hash等的重要性,在这里就体现出来了。

举个简单的例子:我有一个业务系统,每天的日志大约是10个G,一个月就大约是300g,一季度大约1T,我需要看每小时/每天/每周/每月/每季度的各种报表,每次都去数T里面去找,肯定是不可能的。

那么问题来了:怎么解决呢?

按业务分析每分钟的数据,10g/24/60大约7M,然后生成一个分析后的结果文件,大约几k,1小时就是60个文件,需要查看每小时的数据,则将60个文件的结果合并。具体粒度可按具体业务定制,这个是比较简单的分组的例子。

那我需要查看某一个用户,最近10天来的所有操作/订单,那原分组方式,已经无法满足,这个时候怎么办呢?

在插入用户数据的时候,可以按照一定规则,比如用户编号的后两位取摸,去存储在某一个文件里面,10g的数据,则可以相对平均的分配到100个文件里面去,需要查看某用户时,则可以针对用户编号取摸,直接定位到那个文件,然后再去里面查询数据。这个是比较简单的gourp+index。这一块想明白以后,你就可以在这个基础上面,写个定制化的简单的fs了(当然了,实际情况需要考虑的会更多,包括内存换入换出等,不在本文列举)。

经常听到有人说,多线程的程序还不如单线程的程序性能高。那如何编写一个能合理利用cpu资源的多线程程序?

大家都知道,线程切换是需要额外的开销,所以在编写多线程程序的时候,就需要尽可能的避免共享式资源,这样就可以在保证数据一致性的同时,而又避开线程等待的时间。

举个简单的例子:

我有个大的字典(Dictionary/Map)存放用户的会话数据,每个线程,去这个字典里面去读/写数据的时候,都需要去上锁,才能保证数据的一致性,如果两个(更多)线程同时去读/写数据,其他的线程就需要去等待当前线程释放资源,线程越多,则等待的几率越大,性能则越差,多线程处理变成了单线程处理,且等待完了以后,能否再切换回来这个线程继续执行,又是另外一个开销,这一部分属于系统拖托管,属于不可控的。

那么问题来了:怎么解决呢?

根据硬件和实际测试数据,合理分配线程资源,比如,我初始化了8个线程,每个用户的请求,对于线程总数取摸,保证每个用户的请求,入同一个线程处理,则可以在每个线程内部,存放这些用户数据,每个线程在自己内部进行存取,避开了lock,也避开了线程等待/切换带来的资源开销。不取模,随机分配线程,然后用一个hash表来存放,也可。让每个线程,专注于做自己的事情,任务调度作业,也大是基于这个处理。把线程处理机制,放大到虚拟机/物理机之间的消息分发,也大是如此。

还有很多很多,不一一列举,具体业务,视具体情况而定。

总体来说,避开网络开销,避开海量数据,避开资源争夺 是所有高性能的几个基本要素。

时间: 2024-10-07 04:07:22

关于高性能的那点事的相关文章

使用Ratpack和Spring Boot打造高性能的JVM微服务应用

使用Ratpack和Spring Boot打造高性能的JVM微服务应用 这是我为InfoQ翻译的文章,原文地址:Build High Performance JVM Microservices with Ratpack & Spring Boot,InfoQ上的中文地址:使用Ratpack与Spring Boot构建高性能JVM微服务. 在微服务天堂中Ratpack和Spring Boot是天造地设的一对.它们都是以开发者为中心的运行于JVM之上的web框架,侧重于生产率.效率以及轻量级部署.他

高性能服务器架构思路

在服务器端程序开发领域,性能问题一直是备受关注的重点.业界有大量的框架.组件.类库都是以性能为卖点而广为人知.然而,服务器端程序在性能问题上应该有何种基本思路,这个却很少被这些项目的文档提及.本文正式希望介绍服务器端解决性能问题的基本策略和经典实践,并分为几个部分来说明: 1. 缓存策略的概念和实例 2.缓存策略的难点:不同特点的缓存数据的清理机制 3.分布策略的概念和实例 4.分布策略的难点:共享数据安全性与代码复杂度的平衡 缓存 缓存策略的概念 我们提到服务器端性能问题的时候,往往会混淆不清

【JavaScript】【译】编写高性能JavaScript

英文链接:Writing Fast, Memory-Efficient JavaScript 很多JavaScript引擎,如Google的V8引擎(被Chrome和Node所用),是专门为需要快速执行的大型JavaScript应用所设计的.如果你是一个开发者,并且关心内存使用情况与页面性能,你应该了解用户浏览器中的JavaScript引擎是如何运作的.无论是V8,SpiderMonkey的(Firefox)的Carakan(Opera),Chakra(IE)或其他引擎,这样做可以帮助你更好地优

高性能的移动用户体验是这样炼成的!

在人际关系中,良好的第一印象是很重要的,人们愿意在彼此身上寻求信任与诚实,并期望在接下来的经历中重现和增强这些好感.相同的道理也体如今移动应用或互联网产品中.在打造良好的品牌信誉及其与终端用户之间持久信任关系的过程中,"设计"扮演着极其重要的角色. 在用户的期望中,移动应用应该是准确.友好和高效的.然而,移动设备自身的局限性确实为产品的设计带来了不少挑战.要打造值得信赖的移动应用用户体验,产品在性能方面的表现是极其重要的关键因素.  本文中,我们将对移动应用的设计与性能表现之间的关系进

高性能WEB开发 - 图片篇

一.缩小图片大小 当图片很多的时候,减少图片大小是提高下载速度最直接的方法. 1. 使用PNG8代替GIF(非动画图片),因为PNG8在效果一样的情况,图片大小比GIF要小. 2. 用fireworks处理PNG图片,在我们产品中很多PNG图片是美工直接用photoshop导出的, 后来让美工用fireworks处理PNG(大概的方式是选择保存为PNG8,删除背景色). 处理后100K的图片大小基本减少了3/4,但图片质量也会有少许降低,要看自己是否能接受. 3. 使用Smush.it(http

高性能Server---Reactor模型

无处不在的C/S架构 在这个充斥着云的时代,我们使用的软件可以说99%都是C/S架构的! 你发邮件用的Outlook,Foxmail等 你看视频用的优酷,土豆等 你写文档用的Office365,googleDoc,Evernote等 你浏览网页用的IE,Chrome等(B/S是特殊的C/S) …… C/S架构的软件带来的一个明显的好处就是:只要有网络,你可以在任何地方干同一件事. 例如:你在家里使用Office365编写了文档.到了公司,只要打开编辑地址就可以看到在家里编写的文档,进行展示或者继

完成端口与高性能服务器程序开发

原文出处:http://blog.csdn.NET/roen/archive/2007/03/19/1533378.aspx 以一个文件传输服务端为例,在我的机器上它只起两个线程就可以为很多个客户端同时提供文件下载服务,程序的性能会随机器内CPU个数的增加而线性增长,我 尽可能做到使它清晰易懂,虽然程序很小却用到了NT 5的一些新特性,重叠IO,完成端口以及线程池,基于这种模型的服务端程序应该是NT系统上性能最好的了. 首先.做为完成端口的基础,我们应该理解重叠IO,这需要你已经理解了内核对象及

高性能ORM 框架之 MySqlSugar

一.介简 SqlSugar ORM框架一直在升级当中,昨天将EMIT架构进行了重构,让类型转换更加智能,EMIT转换后的性能和原生ADO同水准(以前只是接近),为了提高性能.稳定.有问必答.有需求必改.坚持更新.例如数据库类型为BIT我们在程序里面可以使用 INT接收也可以用BOOL接收,不影响一丝性能,这些都是SQLSUGAR以前没有的功能. 经过一天的努力,MySql版本所有的例子都已经测试通过: MySql .NET 4.0+ https://github.com/sunkaixuan/M

关于DevOps你必须知道的11件事

转自:http://www.infoq.com/cn/articles/11devops 关于作者 Gene Kim在多个角色上屡获殊荣:CTO.研究者和作家.他曾是Tripwire的创始人并担任了13年的CTO.他写过两本书,其中包括<The Visible Ops Handbook>,目前他正在编写<The Phoenix Project: A Novel About IT, DevOps, and Helping Your Business Win>和<DevOps C