ceph（rbd、cephfs）磁盘挂载详解

1：RBD方式挂载

2：cephfs 挂载

3：对象文件上传下载

####################RBD方式挂载###################################

1：安装ceph软件包、同步集群配置文件和key

Yum install ceph –y

2：新建一个ceph pool

ceph osd pool create {pool-name} {pg-num} [{pgp-num}]   实例

ceph osd pool create rbdpool 100 100

3：在pool中新建一个镜像

rbd create rbdpoolimages --size 80960 -p rbdpool   或者 rbd create rbdpool/rbdpoolimages --size 102400

4：列出块设备在一个特定的池，执行以下命令并替换大括号内相关{POOLNAME}池名称：

rbd ls rbdpool

5：查询一个池内的镜像信息，执行下面的，更换{镜像}的镜像名称和池名称替换{池名称}：

rbd --image {image-name} -p {pool-name} info 示例：

rbd --image rbdpoolimages -p rbdpool info

rbd image ‘rbdpoolimages‘:

size 80960 MB in 20240 objects

order 22 (4096 kB objects)

block_name_prefix: rb.0.1272.238e1f29

format: 1

6：把镜像映射到pool块设备中

rbd map rbdpoolimages -p rbdpool    
/dev/rbd1

7：取消映射块设备:

使用RBD命令要取消映射块设备镜像，指定rm选项，设备名称（即，一般以作为块设备映像名称相同）

rbd unmap /dev/rbd/{poolname}/{imagename}

例如：

rbd unmap /dev/rbd1

8：查看镜像映射map

rbd showmapped

id pool    image         snap device    
1  rbdpool rbdpoolimages -    /dev/rbd1

9：格式化映射的设备块

mkfs.xfs -m0 /dev/rbd1

参数：-m reserved-blocks-percentage，保留块百分比,-m:设置预留空间

默认是5%。也就是2G的空间，文件系统只是有2G*95%

10：挂载新建的分区

mkdir  /rbddir

mount /dev/rbd1 /rbddir

df -h

/dev/rbd0        78G   56M   78G   1% /rbddir

11：把挂载的信息写到fstab里

/dev/rbd0                    /rbddir                 xfs     defaults        0 0

12：查看创建的池

ceph osd lspools

13：从池中取出一个块设备，请执行以下命令，请更换大括号内相关的镜像的名字，池的名称替换{池名称}的名称及替换大括号内{镜像}名称：

rbd rm {image-name} -p {pool-name}   示例：

rbd rm rbdpoolimages -p rbdpool

14：删除池

ceph osd pool delete kman kman --yes-i-really-really-mean-it

15：创建池参考资料

http://docs.openfans.org/ceph/ceph4e2d658765876863/ceph-1/ceph-storage-cluster3010ceph5b5850a896c67fa43011/operations301064cd4f5c3011/pools30106c603011

##########################cephFS挂载####################################

创建cephfs文件系统
对于一个刚创建的MDS服务，虽然服务是运行的，但是它的状态直到创建 pools 以及文件系统的时候才会变为Active.

1：查看cephfs 状态命令：

ceph mds dump

2：创建cephfs 存储池
 ceph osd pool create {pool-name} {pg-num} [{pgp-num}]
    {pool-name}--> 存储池名称，必须唯一。
    {pg-num}--> 存储池拥有的归置组总数。
    {pgp-num}--> 用于归置的归置组总数。
 
ceph osd pool create cephfs_data 10
ceph osd pool create cephfs_metadata 10
ceph fs new leadorfs  cephfs_metadata cephfs_data
 
3：验证数据生成
[[email protected] ~]# ceph mds stat
e10: 1/1/1 up {0=dn-5-228=up:active}, 2 up:standby

##########################cephfs客户端挂载###############################
1：安装客户端挂载软件
yum install ceph-fuse -y
 
2：创建挂载目录
mkdir /cephfs
 
磁盘挂载

3.1：使用密钥挂载

ceph auth list    #查找client.admin    密钥

client.admin
        key: AQADm49VtOnOORAAX9Toe4luaBKJPLsh2gmUCA==
        caps: [mds] allow
        caps: [mon] allow *
        caps: [osd] allow *

挂载：

mount -t ceph 172.17.5.225:6789:/ /cephfs -o name=admin,secret=AQADm49VtOnOORAAX9Toe4luaBKJPLsh2gmUCA==

4：验证挂载结果：
df -Th         
Filesystem              Type    Size  Used Avail Use% Mounted on
172.17.5.225:6789:/    ceph     30T  648M   30T   1% /cephfs
 
5：证书来源位置
more /etc/ceph/ceph.client.admin.keyring   #key证书来源
[client.admin]
        key = AQADm49VtOnOORAAX9Toe4luaBKJPLsh2gmUCA==
        
 
6：使用密钥文件挂载
mount  -t ceph node01:6789:/ /cephfs -v -o name=admin,secretfile=/etc/ceph/ceph.client.admin.keyring  或

mount.ceph 172.17.5.225:6789:/ /cephfs -o name=admin,secret=AQADm49VtOnOORAAX9Toe4luaBKJPLsh2gmUCA==

7：若果有多个mon监控节点，可以挂载多可节点，保证了cephFS的安全行，当有一个节点down的时候不影响写入数据

mount.ceph dn-5-225,dn-5-227,dn-5-229:/ /cephfs -o name=admin,secret=AQADm49VtOnOORAAX9Toe4luaBKJPLsh2gmUCA==

8：验证挂载信息：
config file /etc/modprobe.conf, all config files belong into /etc/modprobe.d/.

df -h
Filesystem                                     Size  Used Avail Use% Mounted on
172.17.5.225,172.17.5.227,172.17.5.229:/
                                               30T  648M   30T   1% /cephfs
 
 
9：把挂载的信息写到fstab里
[[email protected] ~]# vi /etc/fstab
172.17.5.225,172.17.5.227,172.17.5.229:/  /cephfs   ceph  name=admin,secret=AQADm49VtOnOORAAX9Toe4luaBKJPLsh2gmUCA==,noatime    0
 
10：ceph-fuse指定key文件的调用方式

ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m dn-5-225 /cephfs

11：验证挂载信息：
 df -h
ceph-fuse              30T  648M   30T   1% /cephfs

12：文件系统表以下内容添加到/etc/fstab中

id=admin,conf=/etc/ceph/ceph.conf /cephfs       fuse.ceph defaults 0 0

13：执行挂载

[[email protected] ~]# mount -a
ceph-fuse[11305]: starting ceph client
2015-07-15 16:49:29.322048 7f3325caa760 -1 init, newargv = 0x47e97d0 newargc=13
ceph-fuse[11305]: starting fuse

14：验证挂载信息：

[[email protected] ~]# df -Th
Filesystem                Type    Size  Used Avail Use% Mounted on
ceph-fuse
                         fuse.ceph-fuse     30T  648M   30T   1% /cephfs

15：挂载后查看结果，注意观察类型
df -Th

参考文档
http://docs.openfans.org/ceph/ceph4e2d658765876863/ceph-1/copy_of_ceph-filesystem301065874ef67cfb7edf3011/manpage-mount-ceph3010mount-ceph5e2e52a998753011

####################对象文件上传，查看###########################

1：创建一个pool
#rados mkpool

2：上传rados put {object-name} {file-path} --pool=putdir

示例

rados put zabbix_client_install.tar.gz ./zabbix_client_install.tar.gz --pool=putdir

3：查看上传内容：

rados -p putdir ls

zabbix_client_install.tar.gz

4：下载对象文件

下载 rados get {object-name} {file-path} --pool=putdir

rados get zabbix_client_install.tar.gz  /workspace/zabbix_client_install.tar.gz -p putdir

#####################################################################

时间： 2024-12-22 22:42:46

ceph（rbd、cephfs）磁盘挂载详解的相关文章

CentOS7 Ceph RBD CephFS 存储

Ceph RBD  CephFS 存储 环境准备: (这里只做基础测试, ceph-manager , ceph-mon, ceph-osd 一共三台) 10.6.0.140 = ceph-manager 10.6.0.187 = ceph-mon-1 10.6.0.188 = ceph-osd-1 10.6.0.94 = node-94 注: ceph 对时间要求很严格, 一定要同步所有的服务器时间 一.在 manager 上面修改 /etc/hosts : 10.6.0.187 ceph-m

Ceph RBD CephFS 存储

Ceph RBD  CephFS 存储 环境准备: (这里只做基础测试, ceph-manager , ceph-mon, ceph-osd 一共三台) 10.6.0.140 = ceph-manager 10.6.0.187 = ceph-mon-1 10.6.0.188 = ceph-osd-1 10.6.0.94 = node-94 注: ceph 对时间要求很严格, 一定要同步所有的服务器时间 一.在 manager 上面修改 /etc/hosts : 10.6.0.187 ceph-m

Linux基础知识之挂载详解（mount,umount及开机自动挂载）

Linux基础知识之挂载详解(mount,umount及开机自动挂载) 转载自:http://www.linuxidc.com/Linux/2016-08/134666.htm 挂载概念简述: 根文件系统之外的其他文件要想能够被访问,都必须通过"关联"至根文件系统上的某个目录来实现,此关联操作即为"挂载",此目录即为"挂载点",解除此关联关系的过程称之为"卸载" 1.挂载:根文件系统外通过关联至根文件系统上的某个目录来实现访问

学习笔记-《Linux基础知识之挂载详解（mount,umount及开机自动挂载）》

<Linux基础知识之挂载详解(mount,umount及开机自动挂载)>来源:Linux社区  作者:chawan 原文链接 http://www.linuxidc.com/Linux/2016-08/134666.htm 以下是学习作者这篇文章做的一些摘要及学习体会. 重要概念(经典原文引述) 挂载概念简述: 根文件系统之外的其他文件要想能够被访问,都必须通过"关联"至根文件系统上的某个目录来实现,此关联操作即为"挂载",此目录即为"挂载点

fstab开机自动挂载磁盘信息详解

df -h    以人类可读的方式显示磁盘信息 [[email protected] etc]# df -h 文件系统                     容量  已用  可用 已用% 挂载点 /dev/mapper/VolGroup00-root   64G   17G   44G   28% / devtmpfs                     3.5G     0  3.5G    0% /dev tmpfs                        3.5G     0

Linux XFS文件系统描述观察及磁盘命令详解

XFS文件系统的描述数据观察 EXT 家族的 dumpe2fs 去观,而XFS 家族用 xfs_info 去观察 [[email protected] ~]# xfs_info挂载点|装置文件名 [[email protected] ~]# df - - T /boot Filesystem      Type     1K-blocks     Used     Available     Use%     Mounted on /dev/vda2        xfs     1038336

linux磁盘分区详解【转】

本文装载自:http://blog.csdn.net/aaronychen/article/details/2270048#comments 在学习 Linux 的过程中,安装 Linux 是每一个初学者的第一个门槛.在这个过程中间,最大的困惑莫过于给硬盘进行分区.虽然,现在各种发行版本的 Linux 已经提供了友好的图形交互界面,但是很多的人还是感觉无从下手.这其中的原因主要是不清楚 Linux 的分区规定,以及它下面最有效的分区工具― Fdisk 的使用方法. 首先我们要对硬盘分区的基本概念

linux磁盘分区详解

如果你想了解linux分区,请务必认真阅读本文.对于初学者来说,linux分区不像windows下那么一目了解 在学习 Linux 的过程中,安装 Linux 是每一个初学者的第一个门槛.在这个过程中间,最大的困惑莫过于给硬盘进行分区.虽然,现在各种发行版本的 Linux 已经提供了友好的图形交互界面,但是很多的人还是感觉无从下手.这其中的原因主要是不清楚 Linux 的分区规定,以及它下面最有效的分区工具― Fdisk 的使用方法. 首先我们要对硬盘分区的基本概念进行一些初步的了解,硬盘的分区

ceph rbd块存储挂载及文件存储建立

一.rbd块存储挂载 1 创建一个OSD pool # ceph osd pool create rbd1 128 查询存储空间使用 # ceph df GLOBAL: SIZE AVAIL RAW USED %RAW USED 480GiB 474GiB 6.12GiB 1.28 POOLS: NAME ID USED %USED MAX AVAIL OBJECTS volumes 1 134B 0 150GiB 5 vms 2 0B 0 150GiB 0 images 3 0B 0 150G