现状:
dell R620服务器一台(2CPU,E5 2620 V2,内存64GB,4块600GB SAS 10k硬盘),dell MD1200扩展存储一台(6块4TB7200硬盘)。
1、MD1200通过HBA线连接到R620;
2、R620原有的4块硬盘做raid5;
3、MD 1200不能独立运行,只可以作为服务器的扩展存储,或者是NAS存储设备的扩展存储,因此连到R620,再做一次raid5。
综上:R620上看到的有两块磁盘阵列卡,分别是服务器本身的与MD1200扩展存储设备的。
-----------------------------
因之前安装的是Xenserver虚拟底层,然后再安装的ubuntu系统,并且已经搭建好服务,处于正式运行状态;扩展存储晚到货一周,因此在上线的时候,发现创建虚拟磁盘最大只能2TB。
-----------------------------
需求说明:
要把这扩展存储的18TB,全部分配给ubuntu系统使用。
解决方案:
方案一:
LVM主要在磁盘与文件系统之间建立一个层,主要用来管理多磁盘多分区进行与多文件系统的映射.就是说N块硬盘分区后,可以把不同硬盘之间的分区进行组卷,有了这个组卷后再从组卷的基础上分配逻辑分区;再对逻辑分区挂载到文件系统上就形成单一目录的概念.
1、在现有基础上不重装虚拟底层与ubuntu系统,继续使用Xenserver;
2、在ubuntu系统里面,通过LVM方式去合并9个大小为2TB的虚拟磁盘为一个分区,并挂载使用。
方案二:寻找其它方案。
打dell服务电话,了解到MD1200只能作为扩展存储使用;因此分配IP地址给MD1200,然后直接通过网络访问的方式行不通。
查思杰的文档资料,查VMware的文档资料,以及咨询官方技术服务热线之后,方案确定如下:重装虚拟底层为esxi5.5版本以上。
Xenserver6.5-思杰
关于虚拟磁盘大小限制连接文档介绍:
这里面的限制是2TB。
-----------------------------------
VMware-esxi5.5版本以上
查询到的vmware的虚拟磁盘限制是64TB,文档资料连接如下:
http://www.vmware.com/files/cn/pdf/vsphere-55-configuration-maximums.pdf
---------------------------
vmware官方文档资料
http://www.vmware.com/files/cn/pdf/vsphere-55-configuration-maximums.pdf
http://www.vmware.com/cn/support/support-resources/pubs/vsphere-esxi-vcenter-server-6-pubs
重装过程简要
1、R620服务器重启,根据提示按F11进入BIOS界面,设置光驱优先启动,根据向导,一路傻瓜化安装好esxi6.0系统;
2、esxi安装之后,需要进行网络配置,以及开启SSH登录、开启命令行登录等。
特别说明:若有vsphere web client安装包,一并安装到R620上;因没有安装包,未具体安装过。去官网下载安装包到92.4%也失败,因此放弃安装。
----------------------
创建超大虚拟磁盘
1、安装好esxi之后,通过VMware vSphere Client登录虚拟底层,发现如下提示,需使用vSphere Web Client才能使用全部的功能。
http://pubs.vmware.com/vsphere-55/index.jsp#com.vmware.vsphere.vcenterhost.doc/GUID-CE128B59-E236-45FF-9976-D134DADC8178.html
需要去下载如图上所示的vsphere web client在能进行相应的操作
https://192.168.28.16:9443/vsphere-client
-----------------------------------
2、通过SSH方式登录虚拟底层,在命令行模式添加大虚拟磁盘,在通过vsphere client添加上去。
帐号和密码,是之前安装的时候看到的root,密码是自己设置的
----------------------
----------------------
----------------------
通过ssh方式,进入命令行模式,执行相应的操作之后。
[[email protected]:~] cd vmfs/volumes/dell_md1200/logserver/
[[email protected]:/vmfs/volumes/5746ace5-10151edd-5afb-14187762ee7e/logserver] vmkfstools -c 16TB logserver1.vmdk
通过vsphere client登录上去,选中相应的虚拟机,添加硬盘,在如下图所示时,选择前面通过命令创建的虚拟磁盘logserver1.vmdk即可。
----------------------
在执行到这个环节的时候,会提示错误,大意是创建的磁盘超过限制啥的,不用管它,直接跳过错误,还是会添加成功的;因为之前在命令行里面创建成功了虚拟磁盘文件的。
----------------------
安装系统,并分区
----------------------
系统安装完成之后,可能会提示如下错误:
错误代码:
sdb1: write same failed. manually zeroing
解决办法:
------------------------
[email protected]:~# find /sys/devices -name max_write_same_blocks /sys/devices/pci0000:00/0000:00:10.0/host2/target2:0:0/2:0:0:0/scsi_disk/2:0:0:0/max_write_same_blocks /sys/devices/pci0000:00/0000:00:10.0/host2/target2:0:1/2:0:1:0/scsi_disk/2:0:1:0/max_write_same_blocks [email protected]:~# cat /etc/rc.local #!/bin/sh -e # # rc.local # # This script is executed at the end of each multiuser runlevel. # Make sure that the script will "exit 0" on success or any other # value on error. # # In order to enable or disable this script just change the execution # bits. # # By default this script does nothing. find /sys/devices -name max_write_same_blocks | while read DISK; do echo 0 >"${DISK}" done exit 0
------------------------