商业存储服务器 Dell MD3800i 使用小结

2016/11/10

一、准备工作
1、目的
体验客户端是如何使用存储服务器的磁盘的？

2、操作【服务器】
1）通过随机器附带的 dell MDSM 存储管理软件来配置好管理网络：
（略）
2）在【MDSM】中配置好2个 iscsi 网络（本型号的设备是双raid卡，每个raid卡上有2个 iscsi 网络和1个管理网络，本例仅使用了其中2个 iscsi 网络）
10.50.200.41
10.50.200.51
在【MDSM】-【存储和备份服务】划分出虚拟磁盘：1(100G)

二、客户端通过 iscsi 连接到后端存储
1、操作【客户端】
操作系统：centos6.5

2、配置 iscsi-initiator 服务来发现后端存储
[[email protected] ~]# yum install iscsi-initiator-utils -y
其常用的参数有：
 iscsiadm 
 -m, 同 --mode, 其选项有 discovery, node, fw（启动值）, host, iface（iSCSI 接口）和 session。
 -I，同 --interface, 表示接口。
 -o, 同 --op, 可实现对数据库的操作，其选项有 new, delete, update 和 show。
 -n, 同 --name, 指定其数据记录里的名字。
 -t, 同 --type, 其选项有 sendtargets（st), fw 和 isns, 仅在 -m 模式为 discovery 时有效。
 -p, 同 --portal, 指定其目标主机的 IP 地址和端口，默认端口为 3260。
 -L, 同 --loginall，其选项有 all，manual 和 automatic，指定其登录会话时的类型。
 -T, 同 --targetname，表示其目标名字。
 -v, 同 --value，通常在 --op=update 时指定其值。

1）发现
[[email protected] ~]# iscsiadm -m discovery -t st -p 10.50.200.41
Starting iscsid:                                           [  OK  ]
10.50.200.41:3260,1 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea
192.168.131.101:3260,1 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea
10.50.200.51:3260,2 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea
192.168.131.102:3260,2 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea
[[email protected] ~]# ls /var/lib/iscsi/nodes/iqn.1984-05.com.dell\:powervault.md3800i.600a098000a64d8b0000000057a152ea/
192.168.131.101,3260,1  192.168.131.102,3260,2  10.50.200.41,3260,1  10.50.200.51,3260,2

2）删除指定的 portal （尚未使用的2个接口）
[[email protected] ~]# iscsiadm -m node -o delete -T iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea -p 192.168.131.101
[[email protected] ~]# iscsiadm -m node -o delete -T iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea -p 192.168.131.102
[[email protected] ~]# iscsiadm -m node
10.50.200.41:3260,1 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea
10.50.200.51:3260,2 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea

3）调整主机端口映射符
[[email protected] ~]# vim /etc/iscsi/initiatorname.iscsi 
InitiatorName=iqn.1994-05.com.redhat:444ef5b8f276

例如：
InitiatorName=iqn.2016-09.com.test:vm200
也可以重新生成一个随机的名称：
[[email protected] ~]# iscsi-iname 
iqn.1994-05.com.redhat:c886f5c823b

实际上，咱不一定要用这个自定义的名称，理由是：
使用客户端访问过一次存储服务器后，存储服务器将记录这个主机端口映射符，后续在存储服务器的管理软件上配置一下到主机的映射即可。

4）重启服务：
[[email protected] ~]# service iscsid restart
[[email protected] ~]# service iscsi restart

2、配置【服务器】
在【MDSM】-【主机映射】中定义主机组（g_test），主机（名称：vm200，主机端口映射符：iqn.2016-09.com.test:vm200，别名：test-vm200），并添加LUN映射。

3、配置【客户端】使用存储
1）登录
[[email protected] ~]# iscsiadm -m node -T iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea --login 
Logging in to [iface: default, target: iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea, portal: 10.50.200.41,3260] (multiple)
Logging in to [iface: default, target: iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea, portal: 10.50.200.51,3260] (multiple)
Login to [iface: default, target: iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea, portal: 10.50.200.41,3260] successful.
Login to [iface: default, target: iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea, portal: 10.50.200.51,3260] successful.

当然，也可以通过指定 portal 的方式只登录其中一个：
[[email protected] ~]# iscsiadm --m node -T iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea -p 10.50.200.41 --login
Logging in to [iface: default, target: iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea, portal: 10.50.200.41,3260] (multiple)
Login to [iface: default, target: iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea, portal: 10.50.200.41,3260] successful.

2）查看从服务器获得的虚拟磁盘：
[[email protected] ~]# cat /proc/partitions 
major minor  #blocks  name

 253        0  314572800 vda
 253        1     204800 vda1
 253        2  310172672 vda2
 253        3    4194304 vda3
   8        0  104857600 sda
   8       16  104857600 sdb
[[email protected] ~]# lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
vda    253:0    0   300G  0 disk 
├─vda1 253:1    0   200M  0 part /boot
├─vda2 253:2    0 295.8G  0 part /
└─vda3 253:3    0     4G  0 part [SWAP]
sr0     11:0    1  1024M  0 rom  
sda      8:0    0   100G  0 disk 
sdb      8:16   0   100G  0 disk

多出来2个 sda，其实指向的是 MD3800i 中划分的虚拟磁盘中的同一个LUN。
接下来要考虑如何配置多路径（multipath）

3）配置多路径
[[email protected] ~]# yum install device-mapper-multipath -y
[[email protected] ~]# modprobe dm-multipath
[[email protected] ~]# mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is enabled
dm_multipath module is loaded
multipathd is chkconfiged off

上述指令将生成文件：
/etc/multipath/.multipath.conf.tmp
里面的配置可以参考一下，例如：
# 默认配置示例：
# /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf.defaults
# 配置注释：
# /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf.annotated

获取设备对应的wwid：
[[email protected] ~]# scsi_id --whitelisted --device=/dev/sda
3600a098000a64d8b000002a4582305f8

一个简单的配置：
[[email protected] ~]# cat /etc/multipath.conf  
multipaths {
    multipath {
        wwid                    3600a098000a64d8b000002a4582305f8
        alias                   test_block_a
    }
}

[[email protected] ~]# service multipathd restart

查看 multipath 列出的设备：
[[email protected] ~]# multipath -ll            
test_block_a (3600a098000a64d8b000002a4582305f8) dm-0 DELL,MD38xxi
size=100G features=‘0‘ hwhandler=‘0‘ wp=rw
|-+- policy=‘round-robin 0‘ prio=1 status=active
| `- 9:0:0:0  sdb 8:16  active ready running
`-+- policy=‘round-robin 0‘ prio=1 status=enabled
  `- 10:0:0:0 sda 8:0   active ready running
  

调整 multipath 的配置：
[[email protected] ~]# cat /etc/multipath.conf     
defaults {
    path_grouping_policy    multibus
    path_checker            readsector0
    rr_min_io_rq            10
    max_fds                 8192
    rr_weight               priorities
    failback                immediate
    no_path_retry           fail
    user_friendly_names     yes
}

multipaths {
    multipath {
        wwid                    3600a098000a64d8b000002a4582305f8
        alias                   test_block_a
    }
}

[[email protected] ~]# service multipathd reload

[[email protected] ~]# multipath -ll            
test_block_a (3600a098000a64d8b000002a4582305f8) dm-0 DELL,MD38xxi
size=100G features=‘0‘ hwhandler=‘0‘ wp=rw
`-+- policy=‘round-robin 0‘ prio=1 status=active
  |- 9:0:0:0  sdb 8:16 active ready running
  `- 10:0:0:0 sda 8:0  active ready running

4）分区，格式化并挂载使用
[[email protected] ~]# pvcreate /dev/mapper/test_block_a 
  Physical volume "/dev/mapper/test_block_a" successfully created
[[email protected] ~]# vgcreate vg1 /dev/mapper/test_block_a 
  Volume group "vg1" successfully created
[[email protected] ~]# lvcreate -L 8G -n lv01 vg1       
  Logical volume "lv01" created
[[email protected] ~]# lvs
  LV   VG   Attr       LSize Pool Origin Data%  Move Log Cpy%Sync Convert
  lv01 vg1  -wi-a----- 8.00g 
[[email protected] ~]# mkfs.ext4 /dev/mapper/vg1-lv01 

[[email protected] ~]# mkdir /mnt/mdtest
[[email protected] ~]# mount /dev/mapper/vg1-lv01 /mnt/mdtest/
[[email protected] ~]# df -h /mnt/mdtest/
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg1-lv01  7.9G  146M  7.4G   2% /mnt/mdtest

[[email protected] ~]# dd if=/dev/zero of=/mnt/mdtest/a1 bs=10M count=200
200+0 records in
200+0 records out
2097152000 bytes (2.1 GB) copied, 15.3048 s, 137 MB/s

4、管理和测试
1）查看session
[[email protected] ~]# iscsiadm -m session
tcp: [8] 10.50.200.41:3260,1 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea
tcp: [9] 10.50.200.51:3260,2 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea 

2）断开到存储服务器的1条路径
[[email protected] ~]# iscsiadm -m node -T iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea -p 10.50.200.41 --logout
[[email protected] ~]# multipath -ll
test_block_a (3600a098000a64d8b000002a4582305f8) dm-0 DELL,MD38xxi
size=100G features=‘0‘ hwhandler=‘0‘ wp=rw
`-+- policy=‘round-robin 0‘ prio=1 status=active
  `- 10:0:0:0 sda 8:0 active ready running
[[email protected] ~]# iscsiadm -m session
tcp: [9] 10.50.200.51:3260,2 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea

测试：可以继续访问磁盘

3）恢复中断的路径
[[email protected] ~]# iscsiadm -m node -T iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea -p 10.50.200.41 --login
[[email protected] ~]# multipath -ll
test_block_a (3600a098000a64d8b000002a4582305f8) dm-0 DELL,MD38xxi
size=100G features=‘0‘ hwhandler=‘0‘ wp=rw
`-+- policy=‘round-robin 0‘ prio=1 status=active
  |- 10:0:0:0 sda 8:0  active ready running
  `- 11:0:0:0 sdb 8:16 active ready running
  
[[email protected] ~]# iscsiadm -m session
tcp: [10] 10.50.200.41:3260,1 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea
tcp: [9] 10.50.200.51:3260,2 iqn.1984-05.com.dell:powervault.md3800i.600a098000a64d8b0000000057a152ea

4）开机启动
[[email protected] ~]# chkconfig multipathd on 

三、问题
1、单路径不靠谱，要合理的规划存储网络。
2、双 RAID 控制器中，假设 iscsi 主机只连接到 RAID 控制器（A），而此时请求的虚拟磁盘在另一个 RAID 控制器（B），将引起异常：
Virtual disk not on preferred path due to failover（虚拟磁盘不在首选路径上）

解决办法：在【MDSM】-【存储和备份服务】：选中虚拟磁盘，右键菜单选择：“更改”-“所有权/首选路径”，调整首选路径为默认值。

3、如果使用 multipath 出现错误 map in use，怎么清理旧的 device 的数据呢？
首先，确认 device 都没有使用，尝试
[[email protected] ~]# multipath -F
Nov 10 16:54:05 | 3600a098000a64d8b000002a4582305f8: map in use
Nov 10 16:54:05 | 3600a098000a64b9c0000030558249c83: map in use

解决办法：
[[email protected] ~]# dmsetup ls
d951c4e7--c01a--48cc--9347--c01924a2047f-leases (253:3)
d951c4e7--c01a--48cc--9347--c01924a2047f-ids    (253:4)
90138356--1626--49e3--b237--452c6dc54cd0-leases (253:10)
90138356--1626--49e3--b237--452c6dc54cd0-inbox  (253:12)
d951c4e7--c01a--48cc--9347--c01924a2047f-metadata       (253:1)
d951c4e7--c01a--48cc--9347--c01924a2047f-master (253:6)
90138356--1626--49e3--b237--452c6dc54cd0-metadata       (253:8)
d951c4e7--c01a--48cc--9347--c01924a2047f-outbox (253:2)
3600a098000a64d8b000002a4582305f8       (253:0)
90138356--1626--49e3--b237--452c6dc54cd0-master (253:13)
90138356--1626--49e3--b237--452c6dc54cd0-outbox (253:11)
3600a098000a64b9c0000030558249c83       (253:7)
90138356--1626--49e3--b237--452c6dc54cd0-ids    (253:9)
d951c4e7--c01a--48cc--9347--c01924a2047f-inbox  (253:5)

确认一下上述列表中的 device 都是可以清理的。
[[email protected] ~]# dmsetup remove_all
[[email protected] ~]# dmsetup ls
No devices found
[[email protected] ~]# multipath -ll  
干净了。

ZYXW、参考
1、iSCSI 多路径实现 KVM 高可用
http://www.ibm.com/developerworks/cn/linux/1303_zhuzq_iscsikvmha/
2、md3600i存储服务器连接 iscsi+multipath配置
http://blog.csdn.net/miyatang/article/details/8657959

时间： 2024-12-13 02:30:00

商业存储服务器 Dell MD3800i 使用小结的相关文章

恶意代码分析实战

恶意代码分析实战(最权威的恶意代码分析指南,理论实践分析并重,业内人手一册的宝典) [美]Michael Sikorski(迈克尔.斯科尔斯基), Andrew Honig(安德鲁.哈尼克)著 <恶意代码分析实战>是一本内容全面的恶意代码分析技术指南,其内容兼顾理论,重在实践,从不同方面为读者讲解恶意代码分析的实用技术方法. <恶意代码分析实战>分为21章,覆盖恶意代码行为.恶意代码静态分析方法.恶意代码动态分析方法.恶意代码对抗与反对抗方法等,并包含了 shellcode分析

windows系统挂载存储阵列的iscsi映射虚拟磁盘

前期准备: 1.服务器系统:dell M630 windows 2012 r2操作系统(已激活,网卡驱动打上) 分配IP:192.168.60.233 2.存储阵列:dell MD3800i (容量6Tx10,RAID卡x2,管理口x2) 业务口分配IP:192.168.60.238和192.168.60.239 管理口IP:192.168.129.101和192.168.129.102 3.利用modular disk storage manager对存储阵列做raid 6.(两块备用盘.)

恒天云 3.0：打造基于OpenStack的私有云新模式

云计算在当今IT世界中已发展地如火如荼,越来越多的企业利用云计算改造传统的数据中心,简化IT资源的交付模式.云计算是许多开放技术的融合,在这个领域,OpenStack是其中最流行最具影响力的开源IaaS云平台,全世界大批的工程师参与OpenStack各组件的开发,使其社区越来越活跃,发展也越来越快速. OpenStack发展至今已发布9个版本,但许多组件仍存在种种稳定性问题,想在企业内部落地依然困难重重,如: Dashboard组件Horizon项目发展缓慢,产品化不足,用户友好度不高: 尚未与

IT基础架构运维规划

这是之前规划设计的IT基础架构运维规划方案,总结自己一段时间的运维经验相关敏感信息已经去除学无止境啊 XX运维工作架构规划从2016年10月XX的运维工作到现在已经有两年多了,期间进行了很多调整,部署了很多业务系统,从一开始的混乱无序,到现在算是小有成效了.现在我们需要进一步完善现有运维工作,规划完整的架构,方便日后进行调整,保证能够科学而又高效的完成运维工作,提高客户满意度. 1.整体架构设计整体架自下而上分为两个部分,基础环境和上层业务应用.基础环境主要是提供的基础虚拟机化环境和存储支持

通过 DELL 存储服务器给exsi虚拟主机扩充磁盘空间。

环境:exsi HP存储. 服务器通过光纤交换机连接存储服务器. 最近一台文件服务器宕机了.提示磁盘不足,刚开始我以为是系统磁盘不足.进入系统看了下,发下系统磁盘还有 80%没有使用.所以就怀疑是exsi的磁盘不足.看了下这个虚机所挂载的磁盘. 当时我的可用空间是0.2M 对于当时我的理解是. 容量:已经分配给这个虚拟机的磁盘空间大小. 可用空间:这块磁盘还有多少空间可以分配. 我想的是:假如我有一块磁盘一共就600G,我把它全部分配给虚拟机都无所谓的.也就是上图的磁盘可用空间:为0了. 后来当

DELL EqualLogic PS数据恢复过程整理及小结

DELL EqualLogic PS4000采用虚拟ISCSI SAN阵列,为远程或分支办公室.部门和中小企业存储部署带来企业级功能.智能化.自动化和可靠性.以简化的管理.快速的部署及合理的价格满足了分支办公室和中小企业的存储需求,同时提供全套企业级数据保护和管理功能.可靠的性能.可扩展性和容错功能,是中型企业级存储的起点产品,但某些物理故障或其他操作都可能会对卷或存储造成破坏,因此对系列存储的数据恢复技术才有了用武之地.而发生这些故障之后只能找专业的数据恢复公司做数据挽救工作.北亚数据恢复中心

安装dell MDSS存储服务器管理软件

在基于dell服务器exsi的主机上安装了server2012,然后再server2012上安装mdss 首先到dell官网去找软件镜像,我的存储型号为md3600f,搜索找到它,然后点击下载驱动程序和下载找到资源该光盘,点击下载下载完成双击镜像双击md_launcher应用程序点击第一个安装ok默认下一步接受协议默认下一步选择是是安装立即重启重启后会发现桌面多了一个软件双击运行安装成功,稍后我们将如何为利用mdsm管理存储md3600f 原文地址:https://blog

数据挖掘中分类算法小结

数据挖掘中分类算法小结数据仓库,数据库或者其它信息库中隐藏着许多可以为商业.科研等活动的决策提供所需要的知识.分类与预测是两种数据分析形式,它们可以用来抽取能够描述重要数据集合或预测未来数据趋势的模型.分类方法(Classification)用于预测数据对象的离散类别(Categorical Label);预测方法(Prediction )用于预测数据对象的连续取值. 分类技术在很多领域都有应用,例如可以通过客户分类构造一个分类模型来对银行贷款进行风险评估;当前的市场营销中很重要的一个特点是强

Python自然语言处理工具小结

Python自然语言处理工具小结作者:白宁超 2016年11月21日21:45:26 1 Python 的几个自然语言处理工具 NLTK:NLTK 在用 Python 处理自然语言的工具中处于领先的地位.它提供了 WordNet 这种方便处理词汇资源的借口,还有分类.分词.除茎.标注.语法分析.语义推理等类库. Pattern:Pattern 的自然语言处理工具有词性标注工具(Part-Of-Speech Tagger),N元搜索(n-gram search),情感分析(sentiment a