以Docker容器方式安装Ceph

获取Ceph的Docker镜像

因为公司对于网络环境的限制，安装ceph时使用ceph-deploy反而很不方便，且ssh免密码方式也不适用，所以使用docker方式安装。

Git地址

https://github.com/ceph/ceph-docker/tree/master/ceph-releases/luminous

DockerHub地址

https://hub.docker.com/r/ceph/daemon/

通过DaoCloud加速器后下载的地址

docker pull ceph/daemon

指定最新的tag

推荐最新的版本：tag-build-master-luminous-centos-7

将镜像导入Harbor仓库供使用

docker tag  [old]  harborip/ceph/daemon:luminous

docker  login -u xxx -p xxx http://harborip

docker push harborip/ceph/daemon:luminous

安装前约定

主要目录

/etc/ceph/                 主要为配置

/var/lib/ceph/           主要为数据

对应关系


宿主机
Docker容器

/etc/ceph/
/etc/ceph/
/etc/ceph/

/var/lib/ceph/
/var/lib/ceph/
/var/lib/ceph/

机器列表


机器名
IP地址
role

C 381
1.2.3.4
Mon，osd

C 382
1.2.3.5
Mon，osd,mds

C 383
1.2.3.6
Mon，osd, rgw

 

Ceph Mon多节点安装

说明

Ceph的MON是一个集群映射图的“主副本”，客户端只需通过连接到MON就可以了解Ceph-MON、Ceph的OSD守护进程，和Ceph的元数据服务器的位置。

安装首节点MON

docker run \

-d --net=host  \

--name=mon \

-v /etc/ceph:/etc/ceph \

-v /var/lib/ceph/:/var/lib/ceph \

-e MON_IP=1.2.3.4 \

-e CEPH_PUBLIC_NETWORK=1.2.3.0/24 \

harborip/ceph/daemon:luminous \

Mon

编辑/etc/ceph.conf配置文件

注意调整下表中红色部份的值。


[global]

fsid =
695b3afb-f560-434f-a90a-f611e1f23638

mon initial members = c381

mon host = 1.2.3.4

auth cluster required =
cephx

auth service required =
cephx

auth client required =
cephx

  • osd pool default
    size = 2

public network =
1.2.3.0/24

cluster network
= 1.2.3.0/24

  • osd journal size
    = 100

osd pool default pg num = 100

  • osd pool default
    pgp num = 100

将相关ceph目录cp到各个节点

按需操作，一种思路：非root帐号先scp到目标机器/tmp下，再挪到指定位置。

涉及目录：/etc/ceph/和/var/lib/ceph/

安装第二及第三节点

docker run \

-d --net=host  \

--name=mon \

-v /etc/ceph:/etc/ceph \

-v /var/lib/ceph/:/var/lib/ceph \

-e MON_IP=1.2.3.5 \

-e CEPH_PUBLIC_NETWORK=1.2.3.0/24 \

harborip/ceph/daemon:luminous \

mon

docker run \

-d --net=host  \

--name=mon \

-v /etc/ceph:/etc/ceph \

-v /var/lib/ceph/:/var/lib/ceph \

-e MON_IP=1.2.3.6 \

-e CEPH_PUBLIC_NETWORK=1.2.3.0/24 \

harborip/ceph/daemon:luminous \

mon

检查mon是否成功启动

可通过以下命令检查：

docker ps|grep ceph|grep mon

ps aux|grep ceph|grep mon

docker logs -f mon

docker exec mon ceph –s

Ceph OSD节点安装

说明

Ceph OSD:Ceph Object Storage Device 主要功能包括:存储数据,副本数据处理,数据恢复,数据回补,平衡数据分布,并将数据相关的一些儿监控信息提供给至少2个Ceph OSD,才能有效保存两份数据.

OSD节点安装有两种方案，一种是在节点上挂载全新的硬盘设备，第二种是将已安装好的系统的指定目录作为OSD。

我们这里选用第二种方式，只是因为方便。

命令

在所有需要提供OSD存储的节点上运行如下命令:

docker run \

-d --net=host \

--name=osd \

--privileged=true \

--pid=host \

-v /etc/ceph:/etc/ceph \

-v /var/lib/ceph/:/var/lib/ceph/ \

-v /dev/:/dev/ \

-e OSD_FORCE_ZAP=1 \

-e OSD_TYPE=directory   \

harborip/ceph/daemon:luminous \

Osd

检查OSD是否启动成功

参考MON的检查，相关关键字替换为osd。

注意细节

一，可以用JOURNAL_DIR 参数将日志目录移出

二，OSD_TYPE参数在使用新硬盘时为disk

三，OSD_FORCE_ZAP=1强制清空目录，这里为必要

四，这种方式生成的OSD指定目录为/var/lib/ceph/osd/

五，如果此处安装有问题，可能是不能自动建立相关pool池，可以考虑登陆docker手工执行一次./entrypoint.sh osd命令

Ceph RGW节点安装

说明

RGW为Rados
Gateway的缩写，ceph通过RGW为互联网云服务提供商提供对象存储服务。RGW在librados之上向应用提供访问ceph集群的RestAPI， 支持Amazon S3和openstack
swift两种接口。对RGW最直接的理解就是一个协议转换层，把从上层应用符合S3或Swift协议的请求转换成rados的请求， 将数据保存在rados集群中。

命令

在c383上执行如下命令：

docker run \

-d --net=host \

--name=rgw \

-v /etc/ceph:/etc/ceph \

-v /var/lib/ceph/:/var/lib/ceph 
\

harborip/ceph/daemon:luminous \

rgw

检查RGW是否成功启动

参考MON的检查，相关关键字替换为rgw。

 

Ceph MDS节点安装

说明

Ceph文件系统（CEPH FS）是一个POSIX兼容的文件系统，使用Ceph的存储集群来存储其数据。

使用Ceph的文件系统，在你的Ceph的存储集群里至少需要存在一个Ceph的元数据服务器。(MDS)

命令

在c382节点上运行:

docker run \

-d --net=host \

--name=mds \

-v /etc/ceph:/etc/ceph \

-v /var/lib/ceph/:/var/lib/ceph \

-e CEPHFS_CREATE=1 \

harborip/ceph/daemon:luminous \

mds

检查MDS是否成功启动

参考MON的检查，相关关键字替换为mds。

 

Ceph Mgr节点安装

说明

ceph-mgr 作为 Ceph 集群的管理进程，未来会负责整个集群的管理操作和监控。现在的部分 Monitor 功能会迁移到 ceph-mgr 中，使得 Monitor 更专注于集群的数据面控制，降低集群对于 Monitor 的要求。

在luminous版本上，mgr已成为标配，不安装成功的话，集群状态会WARN。

命令

在所有mon安装过的节点上运行以下命令：

docker run \

-d --net=host  \

--name=mgr \

-v /etc/ceph:/etc/ceph \

-v /var/lib/ceph/:/var/lib/ceph \

harborip/ceph/daemon:luminous \

mgr

检查Mgr是否成功启动

参考MON的检查，相关关键字替换为mgr。

注意细节

一，如果这里安装异常，或是7000端口未启用，要启用dashboard组件功能。

docker exec mon ceph mgr dump

docker exec mgr ceph mgr module enable dashboard

二，最终系统状态和WEB(7000端口)截图如下

挂载cephfs目录

内核支持挂载

一，明文挂载

mount -t ceph 1.2.3.4:6789:/ /mnt/mycephfs \

-o name=admin,secret=3545wgdsgsgfsgf

二，文件挂载

mount
-t ceph 192.168.1.111:6789:/ /mnt/mycephfs –o \

name=admin,secretfile=/etc/ceph/admin.secret

三，卸载目录

umount /mnt/mycephfs

FUSE挂载

在k8s中将cephfs作为volumes挂载

一，获取admin的密文

docker exec mon ceph-authtool --print-key
/etc/ceph/ceph.client.admin.keyring

二，将之用base64编码

echo "sdfdsadfasdfasdf=" | base64

三，生成并应用k8s secret文件


apiVersion: v1

kind: Secret

metadata:

name: ceph-secret

data:

key: QVsdfsadfsadfPQo=

kubectl apply -f ceph-secret

四，编辑deploy文件，挂载cephfs


volumes:

- name: applog

hostPath:

path: / apache/applogs

- name: nfs4app

nfs:

server: 1.2.3.181

path: /app/BB

- name: ceph-vol

cephfs:

monitors:

- 1.2.3.4:6789

user: admin

secretRef:

name: ceph-secret

readOnly: false

五，测试文件生成

在POD操作文件，在cephfs中会同步操作相应文件。

六，未完

在k8s中将cephfs作为PVC挂载[未完]

将harbor中的镜像目录用cephfs来挂载[未完]

时间： 2024-10-29 14:16:14

以Docker容器方式安装Ceph的相关文章

docker容器里面安装ssh

docker容器里面安装ssh https://blog.csdn.net/chengxuyuanyonghu/article/details/76619097 原文地址:https://www.cnblogs.com/jing1617/p/9554608.html

Docker容器中安装新的程序

在容器里面安装一个简单的程序(ping). 之前下载的是ubuntu的镜像,则可以使用ubuntu的apt-get命令来安装ping程序:apt-get install -y ping. $docker run ubuntu apt-get install -y ping 注意:在执行apt-get 命令的时候,要带上-y参数.如果不指定-y参数的话,apt-get命令会进入交互模式,需要用户输入命令来进行确认,但在docker环境中是无法响应这种交互的.

docker容器中安装vim

在使用docker容器时,有时候里边没有安装vim,敲vim命令时提示说:vim: command not found,这个时候就需要安装vim,可是当你敲apt-get install vim命令时,提示: Reading package lists... Done        Building dependency tree               Reading state information... Done        E: Unable to locate package

clearriver docker容器中安装vim

在使用docker容器时,有时候里边没有安装vim,敲vim命令时提示说:vim: command not found,这个时候就需要安装vim,可是当你敲apt-get install vim命令时,提示: Reading package lists... Done Building dependency tree Reading state information... Done E: Unable to locate package vim 这时候需要敲:apt-get update,这个

Linux中docker容器的安装

1.查看当前内核版本>=3.10 uname -r2.更新yum包 yum update3.卸载旧版本 yum remove docker docker-common docker-selinux docker-engine4.安装依赖包 yum install -y yum-utils device-mapper-persistent-data lvm25.设置yum源 yum-config-manager --add-repo http://mirrors.aliyun.com/docker

docker容器如何安装vim

mv /etc/apt/sources.list /etc/apt/sources.list.bak && \     echo "deb http://mirrors.163.com/debian/ jessie main non-free contrib" >/etc/apt/sources.list && \     echo "deb http://mirrors.163.com/debian/ jessie-proposed-u

ubuntu安装Docker容器

第一步首先更新资源: apt-get update 第二步安装Docker: apt-get install docker 第三步安装docker.io: apt-get install docker.io 第四步安装docker-registry: apt-get install docker-registry 第五步启动docker容器: systemctl start docker 最后验证docker容器是否安装成功: docker run hello-world 原文地址:https:

Docker Python2.7容器中安装第三方库GCC提示：file not recognized: File format not recognized

问题描述: 在Docker容器中安装Python第三方库时提示:file not recognized: File format not recognized. 错误提示: [email protected]:/# pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ mysql-python DEPRECATION: Python 2.7 will reach the end of its life on January 1st, 2

Docker windows下安装，Build和Run的步骤及注意事项

一.关于Docker 什么是Docker?Docker 采用go语言编写,是一个开源的应用容器引擎.让开发者可以快速打包他们的应用以及依赖包到一个封装的可移植的容器Image中,然后发布到任何流行的机器( Linux ,windows,Mac等)上,也可以实现虚拟化.容器是使用完全独立的沙箱机制,相互之间不会有任何接口.可以同时运行多个Container,且相互独立各不干扰,对于多环境下的系统测试非常有用,但是Docker的应用远不止此. 二.安装 1. Windows 7系统下建议使用Dock