iSCSI磁盘阵列用作Proxmox VE的LVM共享存储

  proxmox作为开源的虚拟化管理平台,支持集群管理和HA。在一般的中小规模虚拟化应用,完全可以替代VMware。VM热迁移、HA高可用等作为虚拟化应用的重要功能,必须用到共享存储。从其官方资料和一些网上资料称,proxmox除了支持常用的lvm,nfs,iscsi,还支持集群存储glusterfs和ceph等。

  笔者用Proxmox VE 4.4在两台DELL R730服务器建立了两个节点(pve-01和pve-02)的群集。拟在一台iSCSI的DELL PS6000E磁盘阵列上划出一个2T的卷作为共享存储。

  之前在VMware的vCenter中作过类似的应用,vCenter的存储可直接挂上iSCSI的卷,用VMFS文件系统可直接作为共享存储,其各项性能(如精简磁盘、快照等)与本地存储完全一样。

  所以,首先试验Proxmox VE直接挂iSCSI卷,发现VM也可创建在该卷上,但VM的磁盘将占用整个卷的空间。查询Proxmox VE的帮助文件Proxmox VE Storage中Open-iSCSI initiator一节中提到:

  If you want to use LVM on top of iSCSI, it make sense to setcontent none. That way it is not possible to create VMs using iSCSI
LUNs directly.

  即不可能直接使用iSCSI LUN创建VM,需要用LVM on top of iSCSI。即要在iSCSI
LUN上建立LVM。按此提示,笔者作了以下实验,成功地创建了共享存储,实现了VM的热迁移、HA等。

  

一、在PS6000E磁盘阵列创建用于PVE共享存储的卷(Volume):

卷名:pve-storage

大小:2000G,精简模式:

开启共享(允许不同的发起端同时连接该目标):

二、挂载磁盘阵列iSCSI卷(pve-storage)。

1、查找pve-01、pve-02等节点的iSCSI initiator

在节点1(pve-01)上查看/etc/iscsi/initiatorname.iscsi文件内容,找到pve-01的iSCSI发起名:iqn.1993-08.org.debian:01:c8a15d1fa8b

[email protected]:# cat /etc/iscsi/initiatorname.iscsi

## DO NOT EDIT OR REMOVE THIS FILE!

## If you remove this file, theiSCSI daemon will not start.

## If you change the InitiatorName,existing access control lists

## may reject this initiator.  The InitiatorName must be unique

## for each iSCSI initiator.  Do NOT duplicate iSCSI InitiatorNames.

InitiatorName=iqn.1993-08.org.debian:01:c8a15d1fa8b

同样方式在1(pve-02)上查看/etc/iscsi/initiatorname.iscsi文件内容,可找到pve-02的iSCSI发起名:iqn.1993-08.org.debian:01:d9fe19a3091

将两个发起名填入在PS6000S磁盘阵列创建的pve-storage卷访问设置页面,仅允许该卷被pve-01和pve-02访问:

2、获取iSCSItarget

  执行命令iscsiadm -m discovery -t sendtargets –p < target IP>获取iSCSItarget

[email protected]:~# iscsiadm -m discovery -t sendtargets -p 192.168.1.254

192.168.1.254:3260,1 iqn.2001-05.com.equallogic:0-8a0906-a05065a08-f053c73a5da5881d-pve-storage

  也可在PS6000E pve-storage的Connections页中直接复制iSCSI target:

3、登录iSCSI目标

在各节点上分别执行以下操作登录iSCSI目标

a.执行命令iscsiadm -m node -T <iSCSI-target> -p <target-IP> -l登录iSCSI目标:

iscsiadm -m node -Tiqn.2001-05.com.equallogic:0-8a0906-a05065a08-f053c73a5da5881d-pve-storage -p192.168.1.254 –l

b.为了重启系统能自动登录目标,执行以下命令:

iscsiadm -m node -p 192.168.1.254 --opupdate -n node.startup -v automatic

现在,在该节点上增加了新的磁盘/dev/sdb(本地磁盘只有/dev/sda一个)。

依次在其它节点(如pve-02)执行上述登录操作(a.和b.),将PS6000E上的pve-strage卷挂到各节点。

三、在iSCSI磁盘 /dev/sdb上创建LVM分区、创建物理卷、创建卷组(只在某一个节点如pve-01进行如下操作即可。不能在其它节点上再次操作)

 

a.执行磁盘分区命令:

[email protected]:/#fdisk /dev/sdb

Welcome to fdisk(util-linux 2.25.2).

Changes will remainin memory only, until you decide to write them.

Be careful beforeusing the write command.

Command (m forhelp):g      (建立GPT分区表)

…………

Command (m forhelp):n      (建立一个新的分区,输入分区号、起始结束扇区等)

…………

Command (m forhelp):t      (改变分区类型)

Selected partition1

Partition type(type L to list all types):23  (分区1的类型改变为Linux LVM)

Command(m for help): p      (查看分区表)

Disk/dev/sdb: 2 TiB, 2147494133760 bytes, 4194324480 sectors

Units:sectors of 1 * 512 = 512 bytes

Sectorsize (logical/physical): 512 bytes / 512 bytes

I/Osize (minimum/optimal): 512 bytes / 512 bytes

Disklabeltype: gpt           (分区表类型为GPT)

Diskidentifier: 97D04321-DE97-4001-A68B-84585F6EAC93

Device               Start                  End                     Sectors              Size  Type

/dev/sdb1         34              4194324446     4194324413     2T     Linux LVM (分区类型为Linux LVM)

Command(m for help): w      (写入磁盘并退出fdisk)

b.在分区/dev/sdb1上创建物理卷physical volume (PV)

pvcreate /dev/sdb1

      c.创建卷组volume group (VG),VG名为“vg-pve

vgcreate vg-pve/dev/sdb1

至此,iSCSI共享存储已准备就绪。可供proxmoxVE使用了。

四、在proxmox VE的GUI中增加共享存储

  用鼠标依次选:数据中心-存储-添加-LVM

  出现添加LVM的对话框:

依次命名ID(iSCSI-lvm)、选择卷组(刚才创建的卷组vg-pve会出现在下拉菜单中,选择它即可)、节点(选所有)、选启用、选共享,然后点添加。

现在共享存储iSCSI-lvm就会出现在proxmoxVE各节点。共享存储iSCSI-lvm为LVM存储,可将VM的硬盘创建或移动到上面运行以实现HA或经过它热迁移VM。但LVM不支持精简(Thin)磁盘和快照。

参考文献http://benpiper.com/2014/12/creating-linux-lvm-logical-volume-iscsi-san/

时间: 2024-09-30 01:00:32

iSCSI磁盘阵列用作Proxmox VE的LVM共享存储的相关文章

CentOS 6.5 安装部署iSCSi共享存储

 CentOS 6.5 安装部署iSCSi共享存储 一.前言 1.什么是iSCSI? iSCSI技术是一种由IBM公司研究开发的,是一个供硬件设备使用的可以在IP协议的上层运行的SCSI指令集,这种指令集合可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择.iSCSI技术是一种新储存技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换资料. iSCSI:Internet 小型计算机系统接口 (iSCSI:

Linux iSCSI协议实现共享存储

大纲 一.存储设备类型 二.什么是SCSI和iSCSI 三.iSCSI安装与配置 一.存储设备类型 DAS:Direct Attached Storage 直连主机的总线上的设备 NAS:network Attached Storage 文件共享服务器,共享级别file SAN:Storage Area Network 把SCSI协议借助于其他网络协议实现传送 tcp/ip iscsi FC(光纤): FCoE NAS与SAN的对比图 二.什么是SCSI和iSCSI 小型计算机系统接口(英语:S

Linux系统下实现iscsi共享存储

Linux系统下实现iscsi共享存储 iscsi简介:iscsi 是基于TCP/IP传输封装的SCSI数据包的块级别的共享,其也为C/S架构模型,服务器端提供客户端所需要的存储设备,客户端只需要进行挂载就可以将其当作自己主机上的存储设备进行分区.格式化使用. 实现iscsi需要的2个角色: iscsi target(server) 存储资源所在的iscsi服务器被称为"target".iscsi target通常是一个硬盘存储设备.当前大部分的主流操作系统都提供了配合iscsi ta

RHCS+GFS2+ISCSI+CLVM实现共享存储

RHCS+GFS2+ISCSI+CLVM实现共享存储                            2015-03-25 16:35:29 标签:iscsi scsi rhcs clvm gfs2 本文转载修改自http://www.it165.net/admin/html/201404/2654.html 一,GFS2简介 GFS2 是一个基于GFS的先进的集群文件系统,能够同步每台主机的集群文件系统的metadata,能够进行文件锁的管理,并且必须要redhat cluster su

iscsi 构建 Oracle12C RAC 共享存储

关闭防火墙 [[email protected]122-rac1 ~]# systemctl stop firewalld [[email protected]-122-rac1 ~]# systemctl disable firewalld #防火墙如果沒有关掉,必须打开 iSCSI 所使用的 Port [[email protected]-122-rac1 ~]# firewall-cmd --permanent --add-port=3260/tcp [[email protected]-

Linux下搭建iSCSI共享存储的方法 TGT 方式 CentOS6.9系统下

iSCSI(internet SCSI)技术由IBM公司研究开发,是一个供硬件设备使用的.可以在IP协议的上层运行的SCSI指令集,这种指令集合可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择.iSCSI技术是一种新储存技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换资料. iSCSI分为服务端和客户端,服务端需要安装scsi target用来共享存储设备,客户端需要安装iscsi initiato

Linux下搭建iSCSI共享存储的方法 TGT 方式 Debian9.5系统下

iSCSI(internet SCSI)技术由IBM公司研究开发,是一个供硬件设备使用的.可以在IP协议的上层运行的SCSI指令集,这种指令集合可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择.iSCSI技术是一种新储存技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换资料. iSCSI分为服务端和客户端,服务端需要安装scsi target用来共享存储设备,客户端需要安装iscsi initiato

Linux下搭建iSCSI共享存储

一.简介 iSCSI(internet SCSI)技术由IBM公司研究开发,是一个供硬件设备使用的.可以在IP协议的上层运行的SCSI指令集,这种指令集合可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择.iSCSI技术是一种新储存技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换资料. iSCSI是一种基于TCP/IP 的协议,用来建立和管理IP存储设备.主机和客户机等之间的相互连接,并创建存储区域网

CentOS/Linux 连接 iscsi 磁盘阵列

CentOS/Linux连接ISCSI磁盘整列 iSCSI:即Internet Small Computer System Interface 系统环境:CentOS 6.5 mini 磁盘阵列:联想EMC ISCSI IP:192.168.100.201 一.安装ISCSI 1:确认是否安装iscsi # rpm -qa|grep iscsi 2:安装iscsi(如未安装) # yum -y install iscsi-initiator* 3:启动iscsi服务 (默认系统启动后自动运行)