1.1 应用需求
由于官方对于teuthology和ceph-qa-suite没有任何的文档介绍。在这篇文档中将介绍ceph-qa-suite中case的测试内容以及如何简单修改增加case。
1.2 相关模块
整个自动化环境需要依赖如下三份python代码,关注最多的就是ceph-qa-suite和ceph/qa。
Teuthology:用来调度case ,选择机器,安装ceph等基础环境以及管理整个测试过程。
ceph-qa-suite:为集群增加配置,设置拓扑,以及测试case的设计。
ceph/qa/:自动化测试最终调用的shell脚本。
1.3 代码目录
目前搭建了两个可以进行推送测试任务的服务器。如果要登录机器上增加用例或推送任务,希望大家配置172.16.101.* /16的小网网段或者使用自己的16位掩码小网ip。(自动化测试都是100网段,防止与自动化的冲突)
目前搭建了两个teuthology的服务器,172.16.100.7 和172.16.100.4 (同时支持Jewel版本)。不测试B02的话,建议大家使用172.16.100.7的服务器。
ceph-qa-suite yaml文件所在目录:增加yaml文件在 /repo/ceph-qa-suite_基线版本,其中版本为需要测试的基线版本,hammer版本为空,jewel版本就为/repo/ceph-qa-suite_jewel
ceph-qa-suitetask所在目录:增加tasks文件在 teuthworker用户的src/ceph-qa-suite_基线版本下,hammer和master版本为ceph-qa-suite_master, jewel版本为ceph-qa-suite_jewel。
qa目录: /root/ceph/qa 但是测试用的qa是从172.16.100.9上git下来的,在这里修改代码以后需要push到[email protected]:/git/ceph.git远端自己搭建的git服务器上,注意push到自己需要测试的分支上。
2 简单用例编写
2.1 配置yaml文件
Yaml文件类似于对集群的配置,我们可以单独写一个yaml文件,也可以写多个yaml文件组合在一起。在yaml文件中, 我们必须指明如下几点:
(1)roles:
该项配置的目的是指明需要搭建的集群的拓扑。Mon数据,osd数据,以及客户端节点。例如:
- [mon.0, osd.0, osd.1, client.0] //指明搭建一个单节点,一个mon,两个osd,该节点自身作为client0的集群
也可以用另一种方式写:
roles:
- - mon.a
-osd.0
-osd.1
-osd.2
-client.0
- - osd.3
-osd.4
-osd.5 //两节点的集群,每个节点三个osd。总共一个monitor
另外,tasks为给case增加测试内容:
(2)tasks:
在该配置下面主要为了增加测试case,我们可以在该下面指明需要执行的任务,一般情况下,首先就是安装ceph ,然后再并行的进行多个测试脚本。
例如:
tasks:
- install: //安装ceph
- ceph: //搭建集群以及增加相应配置
log-whitelist:
-wrongly marked me down
-objects unfound and apparently lost
conf:
osd:
osd debug reject backfill probability: .3
osd max backfills: 1
osd scrub min interval: 60
osd scrub max interval: 120
- thrashosds: //进行对osd的异常操作
timeout: 1200
chance_pgnum_grow: 1
chance_pgpnum_fix: 1
(3)overrides:
在overrides下,可以增加高优先级的ceph配置,但overrides部分不是必须要增加。例如:
overrides:
ceph:
conf:
mon:
debug mon: 20
debug ms: 1
debug paxos: 20
mon warn on legacy crush tunables: false
mon min osdmap epochs: 3
osd:
debug filestore: 20
debug journal: 20
debug ms: 1
debug osd: 20
log-whitelist:
-osd_map_cache_size
- slow request
如上的配置中mon ,和osd即为在ceph.conf中对集群的配置。log-whitelist的目的是过滤掉在log中你希望过滤的警告和错误。因为teuthology在测试过程中,如果log中出现了ceph集群的警告或者错误信息,这个测试case就认为失败,然后执行下一个测试case。
2.2 使用方法
见用例篇
2.3 参数介绍
- install: //安装ceph
- ceph: //给ceph增加配置信息,同时也可以过滤一些警告或error,例如:
- exec: //在特定某个客户端执行具体命令,可以在exec下写希望执行的命令
- thrashosd: // 启动一个线程进行随机down osd,out osd ,revive osd,修改primary_affinity,,reweight_osd,修改pg_num,测试backfill等等
- mon_thrash: //启动线程进行kill mon,等待quorum,revive mon,等待 quorum ,如此循环…
- radosbench: //在节点上运行radosbench增加业务
- admin_socket: //从指定路径获取脚本进行测试
- rados: // 启动线程进行所有rados 部分读,写,删除,快照,回滚,拷贝等操作,并且可以指定各项测试的权重。实际运行的是 ceph/src/test/osd/TestRados.cc。也可以指定操作次数和object大小,是否使用纠删码,以及配置纠删码的erasure_code_profile
- workunit: //获取ceph/qa/workunits 整个目录,并运行指定的shell脚本。大部分脚本最终运行的是ceph/src/test/*.cc测试文件
- mon_clock_skew_check: //进行时钟不同步测试
上面是最常用的在yaml文件中配置的task接口。当然,我们也可以指定某个具体的函数,例如:
ceph_manager.create_pool:
args: [‘toremove‘]
kwargs:
pg_num: 4096
在yaml文件中配置如上信息即为创建一个名为toremove,pg_num为4096的pool。其他的接口都可以在/ceph_qa_suite/tasks目录下的.py文件中查看。
tasks部分为最重要的配置,在下面介绍一下yaml文件中tasks可以配置的参数。
2.4 配置文件增加
测试过程中经常会需要改变一下ceph.conf中的配置信息。目前有两种方式更改这些配置信息。
1、 在原有的tasks列下修改或增加,例如:
如图,可以在osd下增加osd的配置,当然也可以使用global,mon等增加其他的配置。图中的log-whitelist也是非常重要的。因为teuthology在测试过程中只要ceph的log里出现了error或者warning就会出错导致测试失败,所以我们可以在log-whitelist里增加相应的字段过滤认为不影响测试的error或者warning。
2、 使用overrides增加配置
另外一种方式是使用overrides的配置,给集群增加优先级更高的配置。例如:
个人建议使用这种方式增加配置,因为我们可以自己新建一个yaml文件,在该文件中写入overrides配置选项,测试过程中再把该文件列入yaml文件列表就可以了。这种方式可以在不修改基础测试用例代码的前提下增加配置,非常灵活。
2.5 测试task
在yaml文件里,实际每个tasks下的配置项都对应一个python文件,每个python文件的命名比较与yaml文件下的配置项名相同,才会被调用。对应在tasks目录下已经存在的python文件,可以直接在yaml文件里调用。如果需要新增测试task,可以在tasks目录下增加python文件。例如:
如上就是一个简单的python文件,最基础的就是需要定义一个名为task的函数。执行过程中teuthology代码会来调用。其中的参数config为调用该tasks时写入的参数。而在ctx中可以获取到所有需要的接口,包括获取整个测试case的配置,测试目录,调用创建pool的接口等等。
其中的remote函数调用的是teuthology代码里的接口,作用是远程登录到某一个client上,执行相应的命令。上例中remote远程登录到client上创建一个pool,同时运行radosbench,之后等待进程退出的同时运行下一个tasks。
这里要注意的是不仅仅是以python文件名的tasks接口可以被调用,ceph_manager里提供了另外一种调用方式。
这样,我们可以直接在yaml文件中执行一个具体任务进行测试,比如可以在tasks下使用ceph_manager.kill_osd,ceph_manager_create_pool等。其中也可以改使用args和kwargs指定相应的config。
总之,tasks是ceph-qa-suite里最重要的部分,其中使用最多的就是rados.py,thrash_osd.py,mon_thrash.py等。
-rados: 进行所有读,写,快照,回滚,纠删码,克隆等基本内部单元测试。实际会调用ceph/src/test下面的osd/TestRados.cc。
-thrash_osd:随机对osd进行down,out,reweight,改变pg数,使用ceph-objectstore-tool进行数据导入导出等一系统测试。
-mon_thrash:多次将mon进行down up测试,同时会伴随着其他各种操作。甚至会用到9个等更多个mon进行测试。
2.6 单元测试用例增加
tasks里的workunits配置项是非常有用的,可以直接从自己搭建的git服务器中获取到ceph/qa/下的shell脚本,之后在所选的client上执行对应的shell测试脚本。
如上就是直接在client.0的任务机上运行ceph/qa/workunits/rados/test.sh的测试脚本。shell测试脚本一般分两种类型:
1、 命令行的测试
这种测试相当于是把所有要执行的命令组合在一个shell脚本里,其中当然也会写一些需要用到的函数,之后自动会在某个任务机上直接执行。如果需要增加这部分测试用例,只需要写好自己的shell脚本,将他放到ceph/qa/workunits目录下(这部分代码存放在自动化环境的一个git服务器上,需要提交到该git服务器上),然后在自己的yaml文件中在workunit配置项中指定自己写的shell脚本就Ok了。之后只需要切换到teuthology用户下使用teuthology-suite测试该yaml文件。
2、 对应的代码测试
另外一种测试是在shell脚本里运行某一命令,但该命令最终会调用到ceph/src/test/目录下的某个.cc测试文件。上面的rados/test.sh就是其中的一种。如果需要增加这部分单元测试用例,首先需要写一个测试模块的.cc测试代码,并且在test/Makefile-client.am里同样的增加。之后的步骤就和上面的一样了。
2.7 使用限制
1、 teuthology上所有的任务机都是ubuntu14.04.3的版本,所以无法测试到与cas相关的情况
2、 teuthology中做不到网络异常相关的测试例,所有任务机都是一个网卡,而且管理这些任务机是通过ssh远程登录的方式自动管理,如果网络异常就无法测试
3、 无法进行增删主机的测试,因为每个测试case的拓扑状况都是由teuthology代码管理和搭建,并且在测试前就限制住。但是teuthology会分别测试到相同用例,不同副本等不同环境配置的情况
4、 无法进行大业务量,大存储量的测试。因为任务机使用的都是虚拟机,每个虚拟机的硬盘只有60G,一旦数据量大就会把硬盘写满导致测试失败
3 应用实例
3.1 增加单个用例
现在已有的tasks 任务接口可以实现大多数的测试。所以我们可以调用这些接口,只增加yaml配置文件进行测试。例如:
如上我们需要在ceph-qa-suites目录下新建一个自己的目录,例如test(目的是不修改原有的用例)。在test目录下创建一个yaml文件,写入自己的需要的roles,以及测试任务tasks(overrides看自己需要)。以下几点需要特别注意:
(1) yaml文件的编写格式。roles中每使用一次两个“- -”就代表一个新的任务节点,上例中就代表测试使用两个任务节点,一个mon,每个节点三个osd。其中第一个节点为client.0(后续在tasks中会用到)。
(2) tasks中必须首先先install和ceph,目的是安装ceph,搭建集群。后续的每一个 “–”都代表一个任务,任务之间都是顺序执行,但是一般会在python代码里让任务之间能达到多线程并行的执行。
(3) 所有的yaml文件里都必须使用空格,不能使用Tab键。否则会导致读取失败
(4) 每个“:”后必须有空格,并且每个需要运行的任务或命令前都必须加“-”。配置文件前不需要增加。
增加完配置以后,就可以切换到teuthology用户下,su - teuthology,直接运行新加的case
teuthology-suite--filter ‘test.yaml‘ --suite-dir /repo/ceph-qa-suite --machine-type net --distro ubuntu --ownertest --suite test
3.2 增加组合用例
ceph-qa-suites上原有的测试用例基本都是组合用例。例如:
看过之前相关teuthology的介绍应该知道目录前面的%的意思。测试该目录下的case时可以直接指定这个目录,不必指定某个yaml文件。可以按照类似于如下目录结构进行创建:
这种方式的好处:
(1) 可以简单设计不同的副本模式测试相同的任务,覆盖创建更广
(2) 设计不同的文件类型进行测试
(3) 改变配置文件进行相同的测试,比较配置文件的影响
(4) 测试不同的case
3.3 增加新任务用例
如上面2.5所述,在ceph-qa-suites下的tasks目录下增加一个python文件,增加import模块和tasks函数。在tasks函数中写入你希望的整个测试过程以及如何判断测试失败的情况。就好比增加一个2.5上的python文件。然后同样需要在suites目录下创建test目录并且新建一个yaml文件,
在yaml文件中的tasks项配置新的任务接口就可以使用teuthology-suite命令运行了,运行方式见使用手册(一)。