PostgreSQL介绍及PCIe SSD对其性能的提升效果分析

在关系数据库领域,PostgreSQL是一款非常受欢迎的开源数据库软件。自1996年发布至今,已经积累了近20年的实践经验,不论是PostgreSQL本身还是社区生态都已经非常成熟。不仅是中小企业,很多大型的行业客户也会使用PostgreSQL搭建自己的数据库系统。这篇文章主要对PostgreSQL做一个介绍,并比较了在PCIe SSD(本文使用Memblaze的PBlaze4 PCIe SSD)和硬件RAID聚合的SAS磁盘两种环境下,PostgreSQL数据库的联机事务处理(OLTP)的性能。

PostgreSQL及参数配置

最新的PostgreSQL基于SQL2011标准编写,能够实现ACID、多版本并发控制、完全串行,和复杂语句查询等功能。此外,作为开源数据库,PostgreSQL还有很多第三方组织提供的插件,在扩展、数据库迁移等方面,PostgreSQL同样具有很大的优势。

操作系统支持方面,PostgreSQL支持Linux、FreeBSD,OS X,Solaris以及Windows等。在OS X中,PostgreSQL已经是缺省的数据库软件(Mac OS X 10.7 Lion服务器或者更高的版本)。主流的Linux版本也已经有相应的PostgreSQL支持包。

测试之前,我们将参数full_page_write=on,PostgreSQL服务器在检查点之后对页面的第一次写入时将整个页面写到 WAL 里面。这么做是因为当页面写入非易失介质的过程中,同时发生了操作系统崩溃,可能只有部分页面写入磁盘, 从而导致在同一个页面中包含新旧数据的混合。如果关闭full_page_writes,在崩溃后的恢复期间, 由于在WAL里面存储的行变化信息不够完整,因此无法完全恢复该页。存储完整的页面内容可以保证页面可以正确恢复,但这样做的缺点是增加了必须写入WAL中的数据量,更多的读写操作。

测试环境介绍

BenchmarkSQL是使用Java开发的TPCC基准测试的开源应用程序,它满足TPCC行业基准协会的要求。本次测试中的BenchmarkSQL通过模拟操作人员设定了1000个仓库,并模拟了5项业务,分别为新订单、付款、订单状态、发货和库存。

整体测试环境如下:

服务器: Dell PowerEdge R730xd, 2 Intel XeonE5-2620(6核)v3 CPU,32GB DRAM

存储设备 : 1 x Memblaze 1.6T PBlaze4 PCIe SSD

6* 600GB 15K + 1 * 300GB 15K HDD

LSI SAS-3 3008 RAID Fury

测试工具:Benchmarksql 4.1.1,PostgreSQL的TPC-C测试工具

pgcluu 2.4,PostgreSQL性能监测和稽核工具

软件: PostgreSQL 9.2.14

CentOS 7.1

测试前提条件

在测试之前,需要考虑以下操作:

1. 确保PBlaze4的分区有4KiB对齐,分区偏移量从1MiB开始。

2. 打开irqbalance服务,并设置CPU的使用模式为最大性能模式。

3. 调整操作系统内核参数,以匹配PostgreSQL。避免使用操作系统交换功能,并调整共享内存参数/文件系统脏页参数。如下所示:

vm.swappiness=0

kernel.shmmax=21474836480

net.core.rmem_max=4194304

net.core.wmem_max=4194304

kernel.sem=50100 64128000 50100 1280

vm.dirty_background_bytes=33554432

4. 使用XFS时,PostgreSQL的默认块大小为8KiB,但在当前Linux环境中,运行“mount xfs”会弹出“功能未实现”错误,因此应将块大小调整为4KiB。分配组数量的增加意味着可分配更多并行块和索引节点。nvme设备分区大小为1601GB,并设置agsize=2g。设置inode64/nobarrier/nolargeio/allocsize=16M作为挂载选项。

5. 设置PostgreSQL数据库群可以使用3/4的服务器物理内存,并且设置shared_buffer=6GB,最大连接=600。

6. 在Benchmarksql工具中配置1000仓库,并设置128个终端。

7. 预处理PBlaze4,并确保文件系统的可用容量低于50%。

测试结果

图1,IOPS和带宽在PBlaze4 PCIe SSD和RAID HDD下的表现

图1清楚地显示了在不同的存储介质情况下,IOPS和数据吞吐量的流量。对比测试结果,PBlaze4 PCIe SSD读写IOPS之和大约是RAID HDD读写IOPS之和的10倍,PBlaze4 PCIe SSD 读写吞吐量之和大约是RAID HDD读写吞吐量之和的8倍。

图2,不同存储介质状态下的读写平均响应时间

如图2所示,PBlaze4 PCIe SSD在整个测试过程中保持了稳定的响应时间。

从以上结果可见,Memblaze PBlaze4 PCIe SSD在PostgreSQL数据库联机事务处理测试中表现了出色。

图3,PBlaze4 PCIe SSD在测试过程中的功耗和温度

如图3所示,功耗和温度指标均证明PBlaze4 PCIe SSD具有稳定的交付状态。

图4,联机事务处理总交易和新订单指标

如图4所示,每分钟处理事务总量(tpmC)包含5个事务模型。运行在PBlaze4 PCIe SSD 上的测试结果远远高于基于RAID HDD的测试结果。

结论

本测试清晰地显示出运行在Memblaze PBlaze4 PCIe SSD 上得到的出色联机事务测试结果,并且在测试过程中,PBlaze4 PCIe SSD 的功率和温度表现稳定。对于业务类型简单,数TiB级别的数据库系统,使用Memblaze PBlaze4 PCIe SSD 是一个替换传统专用存储系统,提升性能同时大幅度降低TCO的可行方案。

本文作者

武豪,Memblaze产品部AE。长期从事存储相关的系统集成工作,主要的研究方向包括主要研究逻辑卷、传统存储和关系数据库的IO路径优化等。

时间: 2024-10-24 16:01:09

PostgreSQL介绍及PCIe SSD对其性能的提升效果分析的相关文章

PCIe SSD介绍及其应用(一)

SATA/SAS接口的SSD已经面世十几年了,目前已普遍应用于个人消费领域,但其性能仍无法充分满足企业用户对高吞吐.低延时的要求,数年前世界上第一块PCIe接口SSD问世,以其惊人的读写吞吐能力.超低延时迅速获得企业用户的青睐.互联网行业是PCIe SSD的最初拥趸,经过多年的实践已经验证PCIe SSD的稳定性完全可以胜任企业的24x7工作模式,目前PCIe SSD应用正迅速从互联网行业延伸至传统行业,甚至进入对安全稳定性要求苛刻的金融行业,可以预期在不久的将来,PCIe SSD很有可能成为服

华为PCIe SSD存储卡

华为PCIe SSD存储卡 国际评测性能第一 全球领先的信息与通信解决方案供应商华为,推出的华为Tecal ES3000 PCIe SSD高性能存储卡经国际权威的评测机构(storagereview <http://www.storagereview.com/>)评测 NoSQL Database 性能指标卓越,在SSD 产品中排名第一(注:排在第一位置的是JBOD产品,非PCIe SSD卡或SSD硬盘),同比Fusion-IO性能高20%~30%,超过Fusion-IO.Micron.OCZ

Memblaze 联手PMC推出用于超大规模数据中心的高性能PCIe SSD

Memblaze 联手PMC 推出用于超大规模数据中心的高性能PCIe SSD Memblaze 产品在容量.灵活度及延迟等方面均领先业界       引领大数据连接.传送以及存储,提供创新半导体及软件解决方案的PMC?公司(纳斯达克代码:PMCS)今日宣布,忆恒创源科技有限公司( Memblaze Technology Co. Ltd)在其下一代PCIe产品中采用了PMC的Flashtec? NVM Express (NVMe) NVMe控制器. 基于Flashtec的Memblaze的PBl

机械硬盘与SSD固态硬盘性能的深度

从7200转硬盘升级到10000转的迅猛龙,那叫量变.从10000转的迅猛龙升级到SSD,这个叫质变.2者的差距是有些地方相当大,而有些却很接近,主要是难比较. 经常听到有人说:我买2个黑盘组RAID 0,传输率也有接近250MB/s了,这个速度和Intel X25-M不相上下了,写入还高,容量又大,性价比明显好.一开始还试着会去纠正下他这个错误的观念,后来麻木了.有时候并不是他不懂,可能他是个商家,或者是刚买了黑盘的用户,又或者只是想"炒作"下,世界之大,啥人都会有么. 废话不多说了

文件系统在NVMe SSD上的性能表现分析

文件系统是访问存储的一种常用方式,目前常用的文件系统都是针对磁盘的特性进行设计的.例如,为了解决磁盘随机小数据访问的问题,在文件系统层面引入了Page cache机制,利用内存缓存对这种访问进行加速.大多数业务都会存在数据局部性,因此,通过这种Page cache机制可以很好的提升文件系统的性能.另外,文件系统的数据布局也会考虑磁盘的特性,元数据聚合存放在一起,这样可以高效的实现元数据的存放,避免磁盘抖动.如下图描述,包括文件系统在内的存储软件栈在各个层次都会对磁盘抖动问题进行优化. 在NVMe

Swift 性能探索和优化分析

Swift 性能探索和优化分析 Apple 在推出 Swift 时就将其冠以先进,安全和高效的新一代编程语言之名.前两点在 Swift 的语法和语言特性中已经表现得淋漓尽致:像是尾随闭包,枚举关联值,可选值和强制的类型安全等都是 Swift 显而易见的优点.但是对于高效一点,就没有那么明显了.在 2014 年 WWDC 大会上 Apple 宣称 Swift 具有超越 Objective-C 的性能,甚至某些情况下可以媲美和超过 C.但是在 Swift 正式发布后,很多开发者发现似乎 Swift

亲身体验MySQL的索引对搜索性能的提升

1,创建一个user表,包含两列name,phone 2,用python(你喜欢的任何语言)插入100W条记录(lz的笔记本比较老,大概用了1分钟吧): #!/usr/bin/env python # -*- coding:utf-8 -*- import MySQLdb conn = MySQLdb.connect(host='localhost',user='root',db='millionMessage') cur = conn.cursor() for i in range(1,100

介绍开源的.net通信框架NetworkComms框架 源码分析

原文网址: http://www.cnblogs.com/csdev Networkcomms 是一款C# 语言编写的TCP/UDP通信框架  作者是英国人  以前是收费的 售价249英镑 我曾经花了2千多购买过此通讯框架, 目前作者已经开源  许可是:Apache License v2 开源地址是:https://github.com/MarcFletcher/NetworkComms.Net 这个框架给我的感觉是,代码很优美,运行很稳定,我有一个项目使用此框架已经稳定运行1年多.这个框架能够

(转)一个MySQL 5.7 分区表性能下降的案例分析

一个MySQL 5.7 分区表性能下降的案例分析 原文:http://www.talkwithtrend.com/Article/216803 前言 希望通过本文,使MySQL5.7.18的使用者知晓分区表使用中存在的陷阱,避免在该版本上继续踩坑.同时通过对源码的分享,升级MySQL5.7.18时分区表性能下降的根本原因,向MySQL源码爱好者展示分区表实现中锁的运用. 问题描述 MySQL 5.7版本中,性能相关的改进非常多.包括临时表相关的性能改进,连接建立速度的优化和复制分发相关的性能改进