网站的高性能架构---存储性能优化

  海量数据的读写对磁盘访问造成巨大压力,很多时候磁盘是系统最严重的瓶颈.

  • 机械硬盘VS固态硬盘

  机械硬盘通过马达驱动磁头臂,带动磁头到指定的磁盘位置访问数据,由于每次访问数据都需要移动磁头,因此机械硬盘在数据连续访问和随机访问时性能差距巨大。

  固态硬盘又称作SSD或Flash硬盘,数据访问速度快,而且功耗和噪音小。

  • B+树VS LSM树

  为了改善数据访问特性,文件系统或者数据库系统通常会对数据排序后存储,加快数据检索速度。传统的关系数据库做法是使用B+数。

目前数据库多采用两级索引的B+树。目前许多NoSQL产品采用LSM树作为主要数据结构。

  在需要进行读操作时,总是从内存中排序树开始搜索如果没有找到,就从磁盘上的排序树顺序查找。

  在LSM树上进行一次数据更新不需要磁盘访问,在内存中即可完成,速度远快于B+树。当数据访问以写操作为主,而读操作则集中在最近写入的数据上,使用LSM树可以极大地降低磁盘的访问次数,加快访问速度。

  • RAID vs HDFS

  RAID(廉价磁盘冗余阵列)技术主要是为了改善磁盘的访问延迟,增强磁盘的可用性和容错能力。通过使用RAID技术,实现数据在多块磁盘上的并发读写和数据备份。

时间: 2024-10-16 19:56:46

网站的高性能架构---存储性能优化的相关文章

网站的高性能架构---应用服务器性能优化

应用服务器就是处理网站业务的服务器,网站的业务代码都部署在这里,是网站开发最复杂,变化最多的地方,优化手段主要有缓存.集群和异步等. 分布式缓存 缓存无处不在,既存在于浏览器.也存在于服务器和数据库:既可以对数据缓存,也可以对文件缓存,还可以对页面片段进行缓存. 网站性能优化第一定律:优先考虑使用缓存优化性能. 缓存的基本原理 缓存是指将数据存储在相对较高访问速度的存储介质中.一方面缓存访问熟读快,可以减少访问时间:另一方面如果缓存的数据是经过计算处理得到的,那么被缓存的数据无需重复计算即可直接

大型网站技术架构,4网站的高性能架构之存储性能优化

4.4 存储性能优化 前面虽然通过缓存可以减轻一部分数据访问的压力,但是很多时候,磁盘仍然是系统最严重的瓶颈. 而且磁盘是网站最重要的资产,磁盘的可用性和容错性至关重要. 4.4.1 机械硬盘vs.固态硬盘 机械硬盘适合顺序访问 固态硬盘适合随机访问 4.4.2 B+树vsLSM树 为了改善数据访问特性,文件系统或数据库通常会对数据排序后存储,这就需要不断在数据增删改时,不断的变化顺序.对于B+树,就是左旋和右旋操作. 4.4.3 RAID vs HDFS 4.5 小结 原文地址:https:/

《大型网站技术架构》网站的高性能架构及优化

一.网站性能测试 (1)性能测试指标:①响应时间:②并发数:③吞吐量:④性能计数器: (2)性能测试方法:①性能测试:②负载测试:③压力测试:④稳定性测试: (3)性能优化策略: ①性能分析:检查请求处理各个环节的日志,分析哪个环节响应时间不合理,检查监控数据分析影响性能的因素: ②性能优化:Web前端优化,应用服务器优化,存储服务器优化: 二.Web前端性能优化 (1)浏览器访问优化: ①减少http请求:因为http是无状态的,每次请求的开销都比较昂贵(需要建立通信链路.进行数据传输,而服务

大型网站核心架构要素 之二(细解网站的高性能架构)

一.不同视角下的网站高性能指标,以及其优化 1.开发人员的视角 开发人员关注的主要是应用程序本身及其相关子系统的性能,包括响应延迟.系统吞吐量.并发处理能力.系统稳定性等技术指标.优化网站性能的主要手段包括 使用缓存加速数据读取,使用集群提高吞吐能力,使用异步消息加快请求响应及实现削峰,使用代码优化手段改善网站性能. 2.运维人员视角 运维人员更关注基础设施性能和资源利用率,如网络运营商的宽带能力.服务器硬件的配置.数据中心网络架构.服务器和网络带宽的资源利用率等.主要优化手段有建设优化骨干网.

大型网站技术架构(四)--网站的高性能架构

大型网站技术架构(一)--大型网站架构演化 大型网站技术架构(二)--架构模式 大型网站技术架构(三)--架构核心要素 网站性能是客观的指标,可以具体体现到响应时间.吞吐量.并发数.性能计数器等技术指标. 1.性能测试指标 1.1 响应时间 指应用执行一个操作需要的时间,指从发出请求到最后收到响应数据所需要的时间.如下列出了系统常用的操作响应时间表. 操作 响应时间 打开一个网站 几秒 数据库查询一条记录(有索引) 十几毫秒 机械磁盘一次寻址定位 4毫秒 从机械磁盘顺序读取1M数据 2毫秒 从S

读书笔记4瞬时相应网站的高性能架构

一.概述 性能测试是性能优化的前提和基础.也是性能优化检查和度量的标准.不同的视角下网站的性能有不同的标准,也有不同的优化手段 二.性能分类 用户视觉的性能 过程:用户情况à网站通讯时间à处理时间à用户计算机浏览器解析 优化手段通过前端优化手段,通过html样式话,利用浏览器段并发和异步特性,挑战浏览器缓存,使用CDN和反向代理使浏览器尽快返回用户感兴趣数据.即使不优化应用程序和架构,也可以很大程度改善用户视觉性能 开发人员视觉的性能 关注应用程序本身及子系统的性能,包括相应延迟,系统吞吐量,并

《大型网站技术架构》读书笔记四:瞬时响应之网站的高性能架构

一.网站性能测试 (1)性能测试指标:①响应时间:②并发数:③吞吐量:④性能计数器: (2)性能测试方法:①性能测试:②负载测试:③压力测试:④稳定性测试: (3)性能优化策略: ①性能分析:检查请求处理各个环节的日志,分析哪个环节响应时间不合理,检查监控数据分析影响性能的因素: ②性能优化:Web前端优化,应用服务器优化,存储服务器优化: 二.Web前端性能优化 (1)浏览器访问优化: ①减少http请求:因为http是无状态的,每次请求的开销都比较昂贵(需要建立通信链路.进行数据传输,而服务

【读书笔记】第四章 瞬时响应:网站的高性能架构

第四章 瞬时响应:网站的高性能架构 4.1 网站性能测试 4.1.1 不同视角下的网站性能 1.用户角度:网站响应速度快还是慢2.开发人员:关注系统本身及其子系统的性能,响应时间,吞吐量,并发能力,稳定性等指标.3.运维人员:关注基础设施和资源利用率,比如贷款能力,服务器配置,数据中心网络架构等. 4.1.2 性能测试指标 1.响应时间 下表是一些常用的系统操作所需要的响应时间 2.并发数:系统能够同时处理的请求数目3.吞吐量:单位时间内,系统处理的请求数量(注意与并发数区分).TPS(每秒事务

大型网站技术架构(四)--网站的高性能架构(转)

http://blog.csdn.net/chaofanwei/article/details/27168603 网站性能是客观的指标,可以具体体现到响应时间.吞吐量.并发数.性能计数器等技术指标. 1.性能测试指标 1.1 响应时间 指应用执行一个操作需要的时间,指从发出请求到最后收到响应数据所需要的时间.如下列出了系统常用的操作响应时间表. 操作 响应时间 打开一个网站 几秒 数据库查询一条记录(有索引) 十几毫秒 机械磁盘一次寻址定位 4毫秒 从机械磁盘顺序读取1M数据 2毫秒 从SSD磁