一套典型RAC硬件环境(双主机,单个盘柜,通过光纤跳线分接2个博科SAN交换机,rhel6.4的linux操作系统)
故障现象:
1、创建ASM磁盘时提示资源繁忙
orcleasm createdisk VOL1 /dev/sdb1
问题排查过程:
一、rdac多路径软件安装配置不正确
查看RDAC是否安装正确命令:
fdisk -l (看是否生效最直接的方式,如果存储是8个卷,服务器就应该只能识别到8个设备,如果数量远大于就说明多路径并没有生效)
lsmod |grep mpp (主要是看模块是否正常加载)
mppUtil -V (查看版本)
mppUtil -a (查看阵列信息)
/opt/mpp/lsvdev (查看卷信息)
ls -lR /proc/mpp (查看阵列控制器和卷信息)
结查发现都是正常的。在执行fdisk -l命令时同时发现很多/dev/mapper/mpathxx的设备,猜测服务器中应该还有另一个多路径设备在起作用。
二、定位DM-multipath是否生效
service multipathd status (查看dm-multipath服务状态)
lsmod |grep dm_multipath (检查模块是否正常加载)
multipath -ll (查看虚拟出的卷信息)
multipath -v2 (查看虚拟出的卷信息)
通过以上配置可清楚发现dm-multipath是生效的,因此猜测是dm-mutipath与rdac产生了资源争用的冲突才异致故障。
解决故障过程:
一、第一种方法是禁用dm-multipath这个红帽自带的多路径软件
方法:servcice multipathd stop
checkconfig multipathd off
经过测试,这个方法依旧没有用,禁用后重启操作系统仍然可以看到/dev/mapper/mpathxx,创建asm磁盘不成功。后来找到了原因,需要将接在服务器上的光纤拔掉后重启操作系统才有效。
二、第二种方法是卸载dm-multipath多路径软件
方法:采用安装源的方式卸载 yum remove device-mapper*
这种方式虽然可以成功卸载dm-multipath多路径软件,但也带来了一些其它的问题,device-mapper的依赖包太多了,将图形桌面的一些包都一起卸载掉了,启图形桌面会有问题。
三、第三种方法重新安装系统时不选择与存储相关的安装选项
虽然这种方法很笨,但我们还是采用了这种方法,因为前面的方法都没有生效,重装操作系统后,安装并配置好rdac后再也看不到该死的/dev/mapper/mpathxx了。创建asm磁盘总算没问题了。
关于DM-multipath与RDAC
DM-multipath是redhat开发的多路径软件,支持大多数的存储设备,通常无需做任何配置即可使用。
RDAC通常是各存储厂商针对自己的存储设备开发的多路径软件,经过简单的配置即可使用。