通过iscsi协议使用ceph rbd

ceph很早就已经支持通过iscsi协议来使用rbd,这篇博文对此做下演示,并且使用OSD Server作为iscsi target端。

一、OSD Server side

1、安装支持rbd的TGT软件包

#echo "deb http://ceph.com/packages/ceph-extras/debian $(lsb_release -sc) main" | sudo tee /etc/apt/sources.list.d/ceph-extras.list
#apt-get install tgt

2、安装完成后确认tgt支持rbd

# tgtadm --lld iscsi --op show --mode system | grep rbd
    rbd (bsoflags sync:direct)

3、创建一个image(示例中pool名称叫做iscsipool,image叫做iamge1)

#rbd create iscsipool/image1 --size 10240 --image-format 2

4、在tgt服务中注册刚才创建好的image,只需要将下面的内容添加到/etc/tgt/targets.conf 或者 etc/tgt/conf.d/ceph.conf中即可。

<target iqn.2014-04.rbdstore.example.com:iscsi>
    driver iscsi
    bs-type rbd
    backing-store iscsipool/image1  # Format is <iscsi-pool>/<iscsi-rbd-image>
    initiator-address 10.10.2.49    #client address allowed to map the address
</target>

5、重启或者重载tgt服务

#service tgt reload
or
#service tgt restart

6、关闭rbd cache,否则可能导致数据丢失或者损坏

vim /etc/ceph/ceph.conf
[client]
rbd_cache = false

二、Client side

1、安装open-scsi

#apt-get install open-iscsi

2、启动open-scsi服务

# service open-iscsi restart
 * Unmounting iscsi-backed filesystems                                                                                                    [ OK ]
 * Disconnecting iSCSI targets                                                                                                            [ OK ]
 * Stopping iSCSI initiator service                                                                                                       [ OK ]
 * Starting iSCSI initiator service iscsid                                                                                                [ OK ]
 * Setting up iSCSI targets
iscsiadm: No records found
                                                                                                                                          [ OK ]
 * Mounting network filesystems 

3、发现目标设备

# iscsiadm -m discovery -t st -p 10.10.2.50
10.10.2.50:3260,1 iqn.2014-04.rbdstore.example.com:iscsi

4、挂载目标设备

#  iscsiadm -m node --login
Logging in to [iface: default, target: iqn.2014-04.rbdstore.example.com:iscsi, portal: 10.10.2.50,3260] (multiple)
Login to [iface: default, target: iqn.2014-04.rbdstore.example.com:iscsi, portal: 10.10.2.50,3260] successful.

5、确认设备已经挂载(示例中sda就是iscsdi设备)

[email protected]:~# lsblk
NAME                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                     8:0    0    10G  0 disk
vda                   253:0    0    24G  0 disk
?..vda1                253:1    0   190M  0 part /boot
?..vda2                253:2    0     1K  0 part
?..vda5                253:5    0  23.8G  0 part
  ?..linux-swap (dm-0) 252:0    0   3.8G  0 lvm  [SWAP]
  ?..linux-root (dm-1) 252:1    0    20G  0 lvm  /
时间: 2024-11-01 21:37:32

通过iscsi协议使用ceph rbd的相关文章

查看Qemu是否支持Ceph RBD

一.查看Qemu-kvm /usr/libexec/qemu-kvm -drive=?Supported formats: vvfat vpc vmdk vhdx vdi sheepdog rbd raw host_cdrom host_floppy host_device file qed qcow2 qcow parallels nbd iscsi gluster dmg cloop bochs blkverify blkdebug Supported formats 中包含rbd表示支持C

理解 OpenStack + Ceph (3):Ceph RBD 接口和工具 [Ceph RBD API and Tools]

本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 与 OpenStack 集成的实现 (4)TBD Ceph 作为一个统一的分布式存储,其一大特色是提供了丰富的编程接口.我们来看看下面这张经典的图: 其中,librados 是 Ceph 的基础接口,其它的接口比如 RADOSGW, RBD 和 CephFS 都是基于 librados 实现的.本文试着分析下 Ceph 的各种接口库和常用的工具.

ceph(2)--Ceph RBD 接口和工具

本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenStack 集成的实现 (6)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (7)Ceph 的基本操作和常见故障排除方法 (8)关于Ceph PGs Ceph 作为一个统一的分布式存储,其一大特色是提供了丰富的编程接口.我们来看看下面这张经典的图: 其中,li

kubernetes整合ceph rbd

一.有一个ceph cluster,假设已经准备好了,文档网上一大堆 二.开始集成ceph和kuberntes 2.1 禁用rbd features rbd image有4个 features,layering, exclusive-lock, object-map, fast-diff, deep-flatten因为目前内核仅支持layering,修改默认配置每个ceph node的/etc/ceph/ceph.conf 添加一行rbd_default_features = 1这样之后创建的i

Linux iSCSI协议实现共享存储

大纲 一.存储设备类型 二.什么是SCSI和iSCSI 三.iSCSI安装与配置 一.存储设备类型 DAS:Direct Attached Storage 直连主机的总线上的设备 NAS:network Attached Storage 文件共享服务器,共享级别file SAN:Storage Area Network 把SCSI协议借助于其他网络协议实现传送 tcp/ip iscsi FC(光纤): FCoE NAS与SAN的对比图 二.什么是SCSI和iSCSI 小型计算机系统接口(英语:S

常见的三种存储技术以及iSCSI协议

1.常见的存储技术 DAS:Direct  Attached Storage,直接附加存储,存储设备通过SCSI接口电缆直接连接到服务器的,存储设备不带有任何操作系统.它依赖于服务器,存储设备就是将硬件设备堆叠起来的.DAS也可称为SAS(Server Attached storage,即服务器附加存储). DAS具有如下特性: 1.DAS设备不带有任何操作系统,文件系统位于服务器端,因此是以块级别进行数据传输 2.它是通过SCSI接口电缆与服务器相连,因此,会增加服务器的I/O操作,占用cpu

利用iSCSI协议搭建IP-SAN

实验目的 本次实验是利用iSCSI协议来搭建一个IP-SAN系统 实验前提:准备一个共享的设备.在实验中,可以使用分区代替一个硬盘,如果使用分区代替硬盘设备,首先需要创建分区.创建过程不在给出,在这里我使用的共享设备为/dev/sdb实验平台为RHEL 5.8iSCSI target所在的主机地址为:192.168.108.150iSCSI initiator所在的主机地址有三个,分别为:192.168.108.199.192.168.108.201.192.168.108.202 IP-SAN

CentOS7 Ceph RBD CephFS 存储

Ceph RBD  CephFS 存储 环境准备: (这里只做基础测试, ceph-manager , ceph-mon, ceph-osd 一共三台) 10.6.0.140 = ceph-manager 10.6.0.187 = ceph-mon-1 10.6.0.188 = ceph-osd-1 10.6.0.94 = node-94 注: ceph 对时间要求很严格, 一定要同步所有的服务器时间 一.在 manager 上面修改 /etc/hosts : 10.6.0.187 ceph-m

QEMU-KVM 和 Ceph RBD 的 缓存机制总结

QEMU-KVM 的缓存机制的概念很多,Linux/KVM I/O 软件栈的层次也很多,网上介绍其缓存机制的文章很多.边学习变总结一下.本文结合 Ceph 在 QEMU/KVM 虚机中的使用,总结一下两者结合时缓存的各种选项和原理. 1. QEMU/KVM 缓存机制 先以客户机(Guest OS) 中的应用写本地磁盘为例进行介绍.客户机的本地磁盘,其实是 KVM 主机上的一个镜像文件虚拟出来的,因此,客户机中的应用写其本地磁盘,其实就是写到KVM主机的本地文件内,这些文件是保存在 KVM 主机本