目录

1.Tempest测试框架介绍

A.概念

B.具体内容

C.原理

D.优缺点

2.Tempest的安装配置

A.安装

B.初始化

C.修改配置

3.Tempest执行测试（命令）

A.执行测试（命令语句，格式）

B.执行部分用例

C.断点单步调试

4.Tempest代码结构、文件目录

A.目录结构

B.代码结构

C.tempest.conf结构

5.Tempest测试

A.API测试用例(流程图，结果）

1.Tempest测试框架介绍

a.Tempest 是 Openstack 的测试框架。和 Openstack 类似，Tempest 由社区人员维护。Tempest 测试框架包含 Openstack基本组件（nova, keystone, glance, quantum, cinder）的测试用例，同时支持 JSON、XML 两种 REST API 格式类型的测试， 以及 CLI 测试。

Tempest为OpenStack的功能测试、集成测试项目，它被设计为可在各种不同项目中使用。在OpenStack核心项目中的单元测试代码中经常可以看到它的身影，在一些孵化项目中也会使用Tempest去测试。它可以验证代码的正确性，已经成为OpenStack项目中不可或缺的组成部分。

b.Tempest具体内容

├── api # API的测试集

├── cli # OpenStack的命令行工具测试集

├── common # 一些公共的工具类和函数

├── scenario # 对OpenStack的常用场景进行测试，包括基本的启动VM，挂载volumn和网络配置等

├── services # tempest自己实现的OpenStack API Client，自己实现是为了不让一些bug隐藏在官方实现的Client里面。

├── stress # 压力测试集，利用multiprocessing来启动多个进程来同时对OpenStack发起请求。

├── thirdparty # EC2兼容的API测试集

├── whitebox # 白盒测试集，主要是对DB操作，然后发起请求，然后比对结果

c.tempest是通过nose驱动的，python语言编写，使用testtools和testresources等几个测试工具库

d.Tempest流程：1.调用各个Openstack组件的API

2.验证API返回的结果

e.Tempest的优点

1.Tempet可以自动寻找，执行测试：自动查找当前目录下所有以（T）test开头的Python源文件，并且按此规则递归查找子目录；所有以（T）test开头的Python源文件面的所有以（T）test开头的function和class，以及继承自unittest.TestCase的class（不需要test开头）都会被执行。

2.Tempest可以指定文件、模块、函数进行测试。

3.Tempest可以指定类型进行测试。

4.Tempest可扩展性强，可以方便的在tempest中添加其他测试用例，可以整合其他类型测试如压力测试、场景测试等。

f.tempest缺点

   对于每一套不一样的openstack环境，都要手工修改相关的配置项tempest.conf文件。（至少要修改user ids, openstack endpoints,  images id、password等）.假如你要测试openstack的全部服务,那你得配置几十项内容，得花费不少时间。显然这非常不智能、且很愚笨。

2.Tempest的安装配置

A.安装 #得先pip设置代理，不然容易出错

a.首先得有装有openstack环境的物理机（本例使用secureCRT连接虚拟机192.168.0.25）

b.$source keystonerc_admin                        #使用admin登录

c.$git clone https://github.com/openstack/tempest/      #下载源码

（ Tempest 下载地址 https://github.com/openstack/tempest

下载的源码在/root/tempest/tempest目录下）

在tempest目录下

d.$pip install tempest                      #安装tempest项目

（*如果pip install报错，比如某个Python包版本冲突或者之类的，可以先执行下

$ pip install -r tempest/requirements.txt               #安装Python依赖包，然后再执

行d步命令）

B.初始化

e.$ tempest init hunter-tempest-01                   #初始化测试环境目录

（此步骤相当于如下命令：

$mkdir hunter-tempest-01 && cd my-tempest-env-01 &&tempest init   )

 C.修改配置

f.初始化测试环境目录过程中，会在测试环境目录hunter-tempest-01下自动生成如下目                         录

$ etc  logs  tempest_lock

其中etc目录下生成了tempest.conf.sample示例配置文件，我们修改好这个文件并重命名为tempest.conf。

下面是修改完毕的配置文件和初始化完毕的示例配置文件的diff结果

[email protected]:~#diff origin-sample-conf/etc/tempest.conf.samplemy-tempest-env-01/etc/tempest.conf -u

--- origin-sample-conf/etc/tempest.conf.sample  2015-12-23 20:07:37.703580165 +0800

+++ my-tempest-env-01/etc/tempest.conf  2015-12-23 19:45:27.390680269 +0800

@@ -178,19 +178,19 @@

# authenticating requests made by tenantisolation to create users and

# projects (string value)

# Deprecated group/name -[identity]/admin_username

-#admin_username = <None>

+admin_username = admin

# Tenant name to use for an  administrative user. This is needed for

# authenticating requests made by tenantisolation to create users and

# projects (string value)

# Deprecated group/name -[identity]/admin_tenant_name

-#admin_tenant_name = <None>

+admin_tenant_name = admin

# Password to use for an  administrative user. This is needed for

# authenticating requests made by tenantisolation to create users and

# projects (string value)

# Deprecated group/name -[identity]/admin_password

-#admin_password = <None>

+admin_password = admin                                  
#管理员模式下的用户名密码

# Admin domain name for authentication(Keystone V3).The same domain

# applies to user and project (string value)

@@ -290,18 +290,18 @@

# Valid primary image reference to be used intests. This is a

# required option (string value)

-#image_ref = <None>

+image_ref =643ea9b2-f2f8-408e-ab37-309494e82832    
# ubuntu-12.04-root_qwerty-ubuntu_ubuntu

# Valid secondary image reference to be usedin tests. This is a

# required option, but if only one image isavailable duplicate the

# value of image_ref above (string value)

-#image_ref_alt = <None>

+image_ref_alt =42074fa5-231c-48f2-9db1-e283a5ea5b10   
#Centos

#这两组数据是glance服务里面的两个image的ID，通过
#glance image-list命令可以取得所有的image id，如果需要可以专门上传两个image供tempest使用。

# Valid primary flavor to use in tests.(string value)

-#flavor_ref = 1

+flavor_ref = 1                         #m1,tiny

# Valid secondary flavor to be used in tests.(string value)

-#flavor_ref_alt = 2

+flavor_ref_alt = 2                      #m1.small

#这两组数据是tempest创建instance测试用例使用的flavor
id参数。通过 $nova flavor-list命令可以看到当前openstack环境的所有flavor,默认情况下，openstack会创建5个flavor, 这里的1和2分别代表的是m1.tiny和m1.small。

# Time in seconds between build statuschecks. (integer value)

#build_interval = 1

@@ -320,7 +320,7 @@

# which will be used for creating servers iftempest does not create a

# network or a network is not specifiedelsewhere. It may be used for

# ssh validation only if floating IPs aredisabled. (string value)

-#fixed_network_name = <None>

+fixed_network_name = public           #networkname,可通过neutron net-list找到

# Catalog type of the Compute service.(string value)

#catalog_type = compute

@@ -590,14 +590,14 @@

#ca_certificates_file = <None>

# Full URI of the OpenStack Identity API(Keystone), v2 (string value)

-#uri = <None>

+uri=http://192.168.0.100:5000/v2.0/ 
 #测试的后端定为100；openstack服务的主机IP，也就是keystone服务所在节点的IP，默认是192.168.0.100，也就是本地地址；keystone认证API地址，包含端口和版本号

# Full URI of the OpenStack Identity API(Keystone), v3 (string value)

#uri_v3 = <None>

# Identity API version to be used forauthentication for API tests.

# (string value)

-#auth_version = v2

+auth_version = v2            #用于API测试的version为v2

# The identity region name to use. Also usedas the other services‘

# region name unless they are set explicitly.If no such region is

@@ -624,12 +624,12 @@

# Username to use for Nova API requests.(string value)

# This option is deprecated for removal.

# Its value may be silently ignored in thefuture.

-#username = <None>

+username = demo

# Tenant name to use for Nova API requests.(string value)

# This option is deprecated for removal.

# Its value may be silently ignored in thefuture.

-#tenant_name = <None>

+tenant_name = demo

# Role required to administrate keystone.(string value)

#admin_role = admin

@@ -637,7 +637,7 @@

# API key to use when authenticating. (stringvalue)

# This option is deprecated for removal.

# Its value may be silently ignored in thefuture.

-#password = <None>

+password = demo

#非管理员用户操作的用户名密码

# Domain name for authentication (KeystoneV3).The same domain applies

# to user and project (string value)

@@ -683,10 +683,10 @@

#trust = true

# Is the v2 identity API enabled (booleanvalue)

-#api_v2 = true

+api_v2 = true

#v2 api可以激活

# Is the v3 identity API enabled (booleanvalue)

-#api_v3 = true

+api_v3 = false

#v3 api不可以激活

# A list of enabled identity extensions witha special entry all which

# indicates every extension is enabled. Emptylist indicates all

@@ -851,7 +851,7 @@

# Id of the public network that providesexternal connectivity (string

# value)

-#public_network_id =

+#public_network_id = <None>            ？

# Default floating network name. Used toallocate floating IPs when

# neutron is enabled. (string value)

@@ -891,7 +891,7 @@

#

# Allow the execution of IPv6 tests (booleanvalue)

-#ipv6 = true

+ipv6 = false

#ipv6不可用

# A list of enabled network extensions with aspecial entry all which

# indicates every extension is enabled. Emptylist indicates all

@@ -1086,32 +1086,32 @@

#

# Whether or not cinder is expected to be available(boolean value)

-#cinder = true

+cinder = false

#cinder不可用

# Whether or not neutron is expected to beavailable (boolean value)

-#neutron = false

+neutron = true

#neutron可用

# Whether or not glance is expected to beavailable (boolean value)

-#glance = true

+glance = true

#glance可用

# Whether or not swift is expected to beavailable (boolean value)

-#swift = true

+swift = false

#swift不可用

# Whether or not nova is expected to beavailable (boolean value)

-#nova = true

+nova = true

#nova可用

# Whether or not Heat is expected to beavailable (boolean value)

#heat = false

# Whether or not Ceilometer is expected to beavailable (boolean

# value)

-#ceilometer = true

+ceilometer = true

#ceilometer可用

# Whether or not Aodh is expected to beavailable (boolean value)

#aodh = false

# Whether or not Horizon is expected to beavailable (boolean value)

-#horizon = true

+horizon = true

#horizon可用

# Whether or not Sahara is expected to beavailable (boolean value)

#sahara = false

我整理了一个tempest具体配置.word文档，里面标着红色的字体是需要修改的地方。配置完毕并将文件重命名为tempest.conf，就可以执行tempest测试了。

3.Tempest执行测试(命令）

*执行测试需要在修改好配置文件的测试环境配置目录下进行。

A.执行全部测试用例（有几种方式可以执行tempest测试）

a.$ testr run

b.$ testr run --parallel       #并发测试，注意是双横杠

（并发测试：主要指当测试多个用户并同时访问同一个应用程序、同一个模块数据记录时是否存在死锁或其他性能问题，几乎所有的性能测试都会涉及并发测试。）

c.$ testr help run               #查看testr的帮助文档查看更多参数

d.$ nosetests -v tempest        #效果和tests run一样

执行完毕后会有类似如图的效果：

（对此结果的解读：测试了651个文件总共用时3447.950s，整个测试结果是失败的，其中skip（跳过）了18个，errors(脚本的错误）有272个，faliures（测试失败）81次）

*测试结果

--Tempest中的测试结果有4种：测试错误（Error）、测试失败（Failure）、跳过（Skip）、成功（success）

-- 测试错误：可以简单理解成测试代码执行时候报错了，比如：测试代码中print a，而a没有进行变量声明。跟setUp类似，如果代码在这个阶段出错，也都会认为是测试错误（Error）。

-- 测试失败：可以简单理解成测试代码执行正常，但没有得到预期的测试结果，比如：测试代码中调用功能代码add(1, 2)，但返回结果不是3。

-- 跳过：也可以理解为测试忽略（Ignore），比如：某个测试只想在Windows下才运行，这样在Linux下就会被跳过，也就是忽略。

-- 成功：TestCase执行成功。

（error也可能是配置环境有问题，产生skip可能是被测试的服务有bug）

B.执行部分用例

e.可以按照目录+文件+类+方法的方式执行某个特定用例，比如$
testrrun tempest.api.compute.servers.test_servers_negative.ServerNegativeTestJSON.test_reboot_non_existent_server

f.也可以执行某个文件中的所有用例，比如：

$testr runtempest.api.compute.servers.test_servers_negative

g.或者一个类的所有用例：

$ testr runtempest.api.compute.servers.test_servers_negative.ServersNegativeTestJSON

h.还可以用python -m testtools.run来执行部分用例，比如：$  python -m testtools.runtempest.api.compute.servers.test_servers_negative.ServersNegativeTestJSON.test_reboot_non_existent_server   （同样可以用python -m testtools.run来执行某个文件或某个类的全部用例，用法与testr run相同）

i. nosetests 命令来执行部分用例也是一样的用法，不过要加上-s参数，

比如：

$nosetests   -sv  testtools.run\ tempest.api.compute.servers.test_servers_negative.ServersNegativeTestJSON.test_reboot_non_existent_server

C.断点单步调试

如果某个用例执行出错，需要加入断点单步调试，可以用pdb调试库来完成调试工作，建议用ipdb库来调试，这个库更智能易用，它的缺点是不是Python系统库，需要手工安装才能使用。

$pip install ipdb       #ipdb库的安装

如果要加入断点单步调试，需要使用python-m testtools.run方法来执行被调试的用例，否则可能导致断点无法进入，也就没办法进行单步调试

以tempest.api.compute.servers.test_servers_negative.ServersNegativeTestJSON.test_reboot_non_existent_server用例为例进行说明，这里使用的是ipdb，pdb也是类似：

149    @test.attr(type=[‘negative‘])

150    @test.idempotent_id(‘d4c023a0-9c55-4747-9dd5-413b820143c7‘)

151     deftest_reboot_non_existent_server(self):

152         importipdb;ipdb.set_trace()       #此处加入了断点

153         # Reboot a non existent server

154         nonexistent_server =data_utils.rand_uuid()

155        self.assertRaises(lib_exc.NotFound, self.client.reboot_server,

156                          nonexistent_server, type=‘SOFT‘)

4..Tempest目录、代码结构及测试

  A.目录结构

1）api：API的测试集。

2）cli：OpenStack的命令行工具测试集。

3）common：一些公共的工具类和函数。

4）scenario：对OpenStack的常用场景进行测试，包括基本的启动虚拟机、挂载volume和网络配置等。

5）services：Tempest实现的OpenStack API Client，主要是避免官方Client中含有Bug。

6）stress：压力测试集，利用多进程（multiprocessing）同时对OpenStack发起请求进行测试。

7）thirdparty：EC2等第三方兼容API测试集。

8）whitebox：白盒测试集。

B.代码结构

C.Tempest.conf文件

Tempest里有一个很重要的文件，就是我们修改过配置的tempest.conf文件，在tempest.conf文件中分为以下session，这些session需要和测试的Openstack环境匹配

[identity]      – 这个 session 主要包括user/tenant 相关的权限认证测试

[compute]     – 这个 session 主要包括 OS ComputeAPI/CLI 相关测试

[whitebox]     – 这个 session 主要包括查看 Nova 数据库状态，ssh 到虚机中查看其状态等   

[image]        – 这个 session 主要包括 OS 镜像 API/CLI 相关测试

[network]      – 这个 session 主要包括 OS 网络 API/CLI 相关测试

[volume]       – 这个 session 主要包括 OS Cinder 存储 API/CLI 相关测试

[object-storage] – 这个 session 主要包括 OS Swift 对象存储 API/CLI 相关测试

D.Tempest README.rst

tempest主要包括：API测试，命令行测试，复杂场景测试，压力测试，第三方API测试。

每一项都对应tempest中的一个目录，每个目录中包含不同类型的测试。

#/root/tempest/README.rst中记录着每个目录的作用，以及良好的测试实例及测试规则

5.Tempest测试

A.API测试用例

 tempest.api是openstack api测试用例集。

现以tempest.api.compute.flavors.test_flavors.FlavorsV2TestJSON.test_list_flavors为例：

各类间的继承和调用：

FlavorV2TestJSO.test_list_flavors继承自BaseV2ComputeTest。Clients是负责管理包括FlavorsClient在内的所有的openstackclients的，同时调用TempestConfig来读取配置文件tempest.conf。FlavorsClient继承自RestClient，封装了访问openstackapi的接口。FlavorsV2TestJSON通过FlavorsClient来实现对openstackapi的访问。

源码：

classFlavorsV2TestJSON(base.BaseV2ComputeTest):
 #父类

_min_disk = ‘minDisk‘

_min_ram = ‘minRam‘

@classmethod

def setup_clients(cls):

super(FlavorsV2TestJSON,cls).setup_clients()

cls.client = cls.flavors_client

@test.attr(type=‘smoke‘)

@test.idempotent_id(‘e36c0eaa-dff5-4082-ad1f-3f9a80aa3f59‘)

deftest_list_flavors(self):                  
#子类

# List of all flavors should containthe expected flavor

flavors =self.client.list_flavors()[‘flavors‘]

flavor =self.client.show_flavor(self.flavor_ref)[‘flavor‘]

flavor_min_detail = {‘id‘:flavor[‘id‘], ‘links‘: flavor[‘links‘],

‘name‘:flavor[‘name‘]}

self.assertIn(flavor_min_detail,flavors)

@test.idempotent_id(‘6e85fde4-b3cd-4137-ab72-ed5f418e8c24‘)

def test_list_flavors_with_detail(self):

# Detailed list of all flavors shouldcontain the expected flavor

flavors = self.client.list_flavors(detail=True)[‘flavors‘]

flavor =self.client.show_flavor(self.flavor_ref)[‘flavor‘]

self.assertIn(flavor, flavors)

(测试结果)