利用Azure高级存储搭建高性能Linux服务器(1)

目前Azure针对虚拟机提供两种类型的存储,一种是标准存储,基于HDD的,一种是高性能存储Premium Storage(在下文中简称PS),基于SSD的。针对用户高性能,低延迟,I/O密集型的应用,比如数据库MySQL, MongoDB,SAP等提供良好的支持。

本文主要介绍如何在CentOS上使用高级存储构建数据库服务器的最佳实践,包括你的应用需求在超过单盘IOPS限制的情况下,如何通过使用软RAID来构建50000级别的IOPS服务器。

目前高级存储只能用于DS/GS/FS系列机器作为数据磁盘使用,根据虚拟机的大小不同,对每个虚拟机,你最多可以挂载32T的高级存储,达到最高64000的IOPS(受限于你的虚拟机大小和磁盘带宽)。

需要理解的是,磁盘性能取决于三个要素: 磁盘类型、磁盘大小和虚拟机大小。高级磁盘比标准磁盘具有更高的 I/O 限制,I/O 限制随磁盘大小而增加,较大的虚拟机比较小虚拟机具有更高的带宽限制。使用高级磁盘时,请确保虚拟机足够大,能够处理总磁盘带宽。

注意事项

本文中以CentOS 6.7为例,使用DS14作为测试虚拟机,为在CentOS上使用高级存储用做数据库服务器,需要注意一下几项:

1.如果想获得最佳性能和稳定性,在CentOS 6/7上必须手动安装LIS 4.1以上驱动,下载地址如下:

https://www.microsoft.com/en-us/download/details.aspx?id=51612

对于LIS的说明如下:https://www.azure.cn/documentation/articles/storage-premium-storage/

为方便下载,我已经把最新的LIS4.1的包放在了blob storage, Linux下直接wget即可下载:

https://www.azure.cn/documentation/articles/storage-premium-storage/

#安装之前首先保证你的系统最新

$ sudo yum update

请注意:LIS的安装要求你的kernel是最新版本,所以更新之后请重启一下机器确保装载的是最新的Linux kernel,否则后续安装会报错。

#解压缩并安装LIS4

$ tar -xzvf lis-rpms-4.1.2-2.tar.gz

$ sudo ./inshall.sh

可能会有一些警告,忽略即可,安装完成后机器需要重启,以便让新的驱动生效。

[[email protected] LISISO]$ rpm -aq|grep microsoft

kmod-microsoft-hyper-v-4.1.2.2-20161013.x86_64

microsoft-hyper-v-debuginfo-4.1.2.2-20161013.x86_64

microsoft-hyper-v-4.1.2.2-20161013.x86_64

2. 合理使用高级存储的缓存设置:

关于premium高级磁盘缓存设置,你需要根据你的应用的实际情况进行正确设置获得最佳性能:

设置为无:如果你的应用基本都是写入,或者超过80%以上的都是写入操作,则缓存设置为无。

设置为只读:这个选项是Premium Storage的默认选项也是最为常见的选项,如果你的应用操作是读写的,或者只读的操作,建议使用该选项。

设置为读写:如果你的程序可以处理缓存数据,并且在需要的时候可以将缓存数据写入到持久化磁盘,对应用程序有较高要求,处理不当可能会有数据损失。

例如对于SQL Server而言,你可以:

  • 将有数据库数据文件的磁盘的缓存设置为只读,获得快速读取和处理性能
  • 将日志文件的目录设置为,因为日志文件基本上以写为主

对于MySQL数据库而言,道理比较类似,你可以将bin log文件设置为一个目录,而将数据文件也单独设置为一个目录,利用缓存获得最佳性能。

3.对于CentOS 6/7用户,你如果你使用的缓存策略是"无"或者"只读",你必须在挂载磁盘的时候将barrier设为0,具体做法一般是在fstab文件中设置,具体方法见后续例子。

4.在设置fstab自动加载的时候,一定要使用UUID,否则某些情况下会出现不可预知的问题;另外,在设置fstab的时候,为避免在某些情况磁盘加载失败而系统无法启动的情况(比如最为常见的UUID写错,配置错误等等)最好加上nobootwait(ubuntu)或者nofail(centos)参数,具体用法见后面例子。

单个P30盘性能测试

  1. 创建DS系列的虚拟机,如果你需要更高级别的处理性能的虚拟机,可以创建DS V2系列的虚拟机,V2系列比DS系列的虚拟机处理能力快35%左右,本实例中创建一台DS14系列的虚拟机:

  2. 挂载单个1024大小的P30 SSD磁盘到虚拟机,我们进行单盘的性能测试:

  3. 查看添加的磁盘,当前是个裸设备,需要分区并添加:

    $ ls -l /dev/sd*

    $ sudo fdisk /dev/sdc

输入n创建新的分区,p选择primary,partition number选择1,其他的选择默认值。

然后输入t,选择partition为1,修改hex code为fd,这个类型代表 Linux raid auto:

重复以上步骤,直到新增加的4块盘都分区完成:

4. 我们先用sdc来做个单盘测试,格式化设备,创建目录,挂载分区到测试目录:

$ sudo mkfs -t ext4 /dev/sdc1

$ sudo mkdir /data

$ sudo mount /dev/sdc1 /data

5. 我们使用标准的Linux磁盘测试工具fio来测试一下磁盘的性能,首先我们安装一下fio软件,使用epel的repo来做安装:

$ sudo yum install epel-release

$ sudo yum install fio

时间: 2024-10-12 10:53:41

利用Azure高级存储搭建高性能Linux服务器(1)的相关文章

千呼万唤始出来!《高性能Linux服务器构建实战Ⅱ》出版在即

经过近2年的酝酿,几个月的修正,<高性能Linux服务器构建实战Ⅱ----系统安全.故障排查.自动化运维与集群架构>一书出版在即,马上就要与读者见面了. <高性能Linux服务器构建实战Ⅱ----系统安全.故障排查.自动化运维与集群架构>仍 然沿用了<高性能Linux服务器构建实战---运维监控.性能调优.集群应用>的写作特点:实战.实用.通俗.易懂的特点,而在内容上更加实战化,从运 维的多个方面以近似真实的环境介绍运维工作中的各个方方面面,与第一本书不同的是,此书新增

linux运维好书《高性能Linux服务器构建实战Ⅱ》已出版发售,附封面照!

经过近2年的酝酿,几个月的修正,<高性能Linux服务器构建实战Ⅱ----系统安全.故障排查.自动化运维与集群架构>一书出版在即,马上就要与读者见面了. <高性能Linux服务器构建实战Ⅱ----系统安全.故障排查.自动化运维与集群架构>仍 然沿用了<高性能Linux服务器构建实战---运维监控.性能调优.集群应用>的写作特点:实战.实用.通俗.易懂的特点,而在内容上更加实战化,从运 维的多个方面以近似真实的环境介绍运维工作中的各个方方面面,与第一本书不同的是,此书新增

keepalived+nginx+tomcat搭建高性能web服务器集群

使用keepalived+nginx+tomcat搭建高性能web服务器集群,系统采用centos6.9,前端用nginx做反向代理实现负载均衡,同时结合keepalived对nginx实现高可用,后端使用两台tomcat做动态jsp解析,实现了动静分离. 搭建环境 准备四台服务器 vip: 192.168.75.130master: 192.168.75.131 (安装nginx做反向代理实现负载匀衡,结合keepalived实现高可用)backup: 192.168.75.132 (同上)w

《高性能Linux服务器构建实战Ⅱ》一书纠错汇总(10月17日更新)

以下是<高性能Linux服务器构建实战Ⅱ>一书的编写或者排版错误说明,如果发现有相关错误信息,我会陆续在这里发布出来,也希望大家能把自己发现的错误留言给我,谢谢读者们的支持!你们的支持是我完善此书的最大动力! 1.第30页 第二小段:2.安装chkrootkit 将 [[email protected] ~]# make sense 修改为: [[email protected] chkrootkit-0.50]# make sense 将 [[email protected] ~]# cd 

利用Squid反向代理搭建CDN缓存服务器加快Web访问速度

2011年11月26日 ? Web服务器架构 ? 评论数 2 案例:Web服务器:域名www.abc.com IP:192.168.21.129 电信单线路接入访问用户:电信宽带用户.移动宽带用户出现问题:电信用户打开www.abc.com正常,移动用户打开www.abc.com很慢,甚至打不开解决方案:在移动机房放置一台CDN代理服务器,通过智能DNS解析,让电信用户直接访问Web服务器.让移动用户访问CDN代理服务器,解决移动用户访问Web服务器慢的问题具体操作:CDN代理服务器:系统:Ce

可购买了:《高性能Linux服务器构建实战Ⅱ》已正式发行!

由国内著名技术社区51CTO鼎力推荐.华章图书出品.2014年南非蚂蚁(高俊峰)最新技术力作:<高性能Linux服务器构建实战----系统安全.故障排查.自动化运维与集群架构>,已经上架发行,此书是<高性能Linux服务器构建实战---运维监控.性能调优.集群应用>的姊妹篇,仍然沿用了实战.实用.通俗.易懂的写作特点,在内容上更加实战化,从运维的多个方面以近似真实的环境介绍运维工作中的各个方方面面,此书新增加了运维中很容易忽略但是又是非常重要的安全章节,这部分内容是本书的一大亮点,

高性能linux服务器内核调优

高性能linux服务器内核调优 首先,介绍一下两个命令1.dmesg 打印系统信息.有很多同学们服务器出现问题,看了程序日志,发现没啥有用信息,还是毫无解决头绪,这时候,你就需要查看系统内核抛出的异常信息了,使用dmesg命令,可以查看系统信息,dmesg -c 清除已经看过的信息.2.sysctl -p 生效内核配置在我们修改内核参数文件/etc/sysctl.conf后,需要执行以下sysctl -p 来使参数生效. nginx服务器内核调优 用户请求,最先进入的是nginx服务器,那我们首

linux运维好书推荐:《高性能Linux服务器构建实战Ⅱ》热销中,附实例源码下载

由国内著名技术社区ChinaUnix.51CTO鼎力推荐.华章图书出品.2014年南非蚂蚁(高俊峰)最新技术力作:<高性能Linux服务器构建实战----系统安全.故障排查.自动化运维与集群架构>,已经上架发行,此书是<高性能Linux服务器构建实战---运维监控.性能调优.集群应用>的姊妹篇,仍然沿用了实战.实用.通俗.易懂的写作特点,在内容上更加实战化,从运维的多个方面以近似真实的环境介绍运维工作中的各个方方面面,此书新增加了运维中很容易忽略但是又是非常重要的安全章节,这部分内

高性能Linux服务器构建实战笔记

一.            web应用篇 1           HTTP服务器Nginx 1.1          性能上.功能上.安装上与Apache对比 l  性能上占用系统资源少,支持并发高 l  功能上正反代理服务器和负载均衡服务器 l  安装.配置简单 1.2          Nginx的优势 l  Web服务器:处理静态文件.索引文件.自动索引效率高 l  实现无缓存的反响代理加速 l  负载均衡 l  高并发(50000vuser)且占用内存很低 l  安全性Nginx保持10