pytest文档31-allure标记用例级别severity

前言

我们在做功能测试的时候,执行完一轮测试用例,输出测试报告的时候,会有统计缺陷的数量和等级。
在做自动化测试的过程中,当你的测试用例越来越多的时候,如果执行一轮测试发现了几个测试不通过,我们也希望能快速统计出缺陷的等级。
pytest结合allure框架可以对用例的等级做详细的划分。

用例等级

allure对用例的等级划分成五个等级

  • blocker  阻塞缺陷(功能未实现,无法下一步)
  • critical  严重缺陷(功能点缺失)
  • normal   一般缺陷(边界情况,格式错误)
  • minor  次要缺陷(界面错误与ui需求不符)
  • trivial   轻微缺陷(必须项无提示,或者提示不规范)

比如我的用例有以下4条


那么对应的用例的等级应该是

  • 修改个人信息-sex参数为空 这个属于边界值情况的测试,应该是normal级别
  • 修改个人信息-sex参数传F和M两种类型,成功(枚举类型) 这个是针对接口的功能点详细测试 critical级别
  • 修改个人信息-修改不是本人的用户信息,无权限操作 这个是针对接口的功能点详细测试 critical级别
  • 修改个人信息-修改自己的个人信息,修改成功 这是用例是测试主流程 blocker级别

pytest用例

根据测试用例的重要性划分测试用例等级,如果没指定等级,默认为normal级别

import pytest
import allure
'''
作者:上海-悠悠 qq交流群:874033608

@allure.severity装饰器按严重性级别来标记case   
执行指定测试用例 --allure-severities blocker
BLOCKER = 'blocker'  阻塞缺陷
CRITICAL = 'critical' 严重缺陷
NORMAL = 'normal'    一般缺陷
MINOR = 'minor'      次要缺陷
TRIVIAL = 'trivial'  轻微缺陷 
'''

@allure.severity("normal")
def test_case_1():
    '''修改个人信息-sex参数为空'''
    print("test case 11111111")

@allure.severity("critical")
def test_case_2():
    '''修改个人信息-sex参数传F和M两种类型,成功(枚举类型)'''
    print("test case 222222222")

@allure.severity("critical")
def test_case_3():
    '''修改个人信息-修改不是本人的用户信息,无权限操作'''
    print("test case 333333333")

@allure.severity("blocker")
def test_case_4():
    '''修改个人信息-修改自己的个人信息,修改成功'''
    print("test case 4444444")

def test_case_5():
    '''没标记severity的用例默认为normal'''
    print("test case 5555555555")

cd到用例的目录,执行用例,查看报告

pytest --alluredir ./report/allure
allure serve ./report/allure
查看报告详情

统计缺陷

如果执行用例的过程中有测试用例不通过的情况,也可以统计缺陷的严重等级

# 修改上面2个用例,故意让用例失败
@allure.severity("blocker")
def test_case_4():
    '''修改个人信息-修改自己的个人信息,修改成功'''
    print("test case 4444444")
    assert 1==2

def test_case_5():
    '''没标记severity的用例默认为normal'''
    print("test case 5555555555")
    assert 1==2

重新执行用例,查看报告-图表

allure命令行参数allure-severities

pytest -h可以查看到allure相关的几个命令行参数
--allure-severities=SEVERITIES_SET
Comma-separated list of severity names. Tests only
with these severities will be run. Possible values
are: blocker, critical, normal, minor, trivial.
如果有很多测试用例,现在只想做个快速的回归测试,只测试用例级别为blocker和critical级别的测试用例

pytest --alluredir ./report/allure --allure-severities blocker,critical

也可以这样写

pytest --alluredir=./report/allure --allure-severities=blocker,critical

如果只执行blocker级别的用例

pytest --alluredir=./report/allure --allure-severities=blocker

作者:上海-悠悠 qq交流群:874033608

原文地址:https://www.cnblogs.com/yoyoketang/p/12194550.html

时间: 2024-10-08 06:49:39

pytest文档31-allure标记用例级别severity的相关文章

pytest文档12-skip跳过用例

前言 pytest.mark.skip可以标记无法在某些平台上运行的测试功能,或者您希望失败的测试功能 skip意味着只有在满足某些条件时才希望测试通过,否则pytest应该跳过运行测试. 常见示例是在非Windows平台上跳过仅限Windows的测试,或跳过测试依赖于当前不可用的外部资源(例如数据库). xfail意味着您希望测试由于某种原因而失败. 一个常见的例子是对功能的测试尚未实施,或尚未修复的错误. 当测试通过时尽管预计会失败(标有pytest.mark.xfail),它是一个xpas

pytest文档33-Hooks函数获取用例执行结果(pytest_runtest_makereport)

前言 pytest提供的很多钩子(Hooks)方法方便我们对测试用例框架进行二次开发,可以根据自己的需求进行改造. 先学习下pytest_runtest_makereport这个钩子方法,可以更清晰的了解用例的执行过程,并获取到每个用例的执行结果. pytest_runtest_makereport 先看下相关的源码,在_pytest/runner.py下,可以导入之后,点进去查看 from _pytest import runner # 对应源码 def pytest_runtest_make

pytest文档3-pycharm运行pytest

前言 上一篇pytest文档2-用例运行规则已经介绍了如何在cmd执行pytest用例,平常我们写代码在pycharm比较多 写完用例之后,需要调试看看,是不是能正常运行,如果每次跑去cmd执行,太麻烦,所以很有必要学习如何在pycharm里面运行pytest用例 pycharm运行三种方式 1.以xx.py脚本方式直接执行,当写的代码里面没用到unittest和pytest框架时,并且脚本名称不是以test_开头命名的,此时pycharm会以xx.py脚本方式运行 2.当脚本命名为test_x

pytest文档1-环境准备与入门

pytest简介 pytest是python的一种单元测试框架,与python自带的unittest测试框架类似,但是比unittest框架使用起来更简洁,效率更高.根据pytest的官方网站介绍,它具有如下特点: 非常容易上手,入门简单,文档丰富,文档中有很多实例可以参考 能够支持简单的单元测试和复杂的功能测试 支持参数化 执行测试过程中可以将某些测试跳过(skip),或者对某些预期失败的case标记成失败 支持重复执行(rerun)失败的case 支持运行由nose, unittest编写的

HTML文档的常用标记

一.HTML文档中常用的标记有文字标记.段落标记.列表标记.超链接标记.图像标记.表格标记.框架标记和多媒体标记,下面对这些常用标记进行介绍: 1.文字标记:文字是网页重要的组成部分之一,通过使用标题标记.文字格式标记和文字样式标记来改变枯燥乏味的文字,可以使浏览者更有效的浏览网页.下面对标题标记.文字格式标记和文字样式标记进行介绍: 1.1.标题标记<hn>...</hn>: (1).在浏览网页时常常看到一些标题文字,用来划分各个章节,在HTML文档中可以使用标题标记来指明页面上

pytest文档5-fixture之conftest.py

前言 前面一篇讲到用例加setup和teardown可以实现在测试用例之前或之后加入一些操作,但这种是整个脚本全局生效的,如果我想实现以下场景: 用例1需要先登录,用例2不需要登录,用例3需要先登录.很显然这就无法用setup和teardown来实现了.这就是本篇学习的目的,自定义测试用例的预置条件 fixture优势 1.firture相对于setup和teardown来说应该有以下几点优势 命名方式灵活,不局限于setup和teardown这几个命名 conftest.py 配置里可以实现数

pytest文档9-参数化parametrize

前言 pytest.mark.parametrize装饰器可以实现测试用例参数化. parametrizing 1.这里是一个实现检查一定的输入和期望输出测试功能的典型例子 # content of test_expectation.py # coding:utf-8 import pytest @pytest.mark.parametrize("test_input,expected", [ ("3+5", 8), ("2+4", 6), (&

pytest文档13-allure2生成html报告(史上最详细)

前言 allure是一个report框架,支持java的Junit/testng等框架,当然也可以支持python的pytest框架,也可以集成到Jenkins上展示高大上的报告界面. 环境准备 1.python3.6 2.windows环境 3.pycharm 4.pytest-allure-adaptor 5.allure2.7.0 6.java1.8 ** 作者:上海-悠悠 QQ交流群:588402570** pytest-allure-adaptor下载 pip安装pytest-allu

pytest文档14-函数传参和firture传参数request

前言 为了提高代码的复用性,我们在写用例的时候,会用到函数,然后不同的用例去调用这个函数. 比如登录操作,大部分的用例都会先登录,那就需要把登录单独抽出来写个函数,其它用例全部的调用这个登陆函数就行. 但是登录的账号不能写死,有时候我想用账号1去登录,执行用例1,用账号2去登录执行用例2,所以需要对函数传参. 登录函数传参 把登录单独成立,写一个函数,传2个参数user和psw,写用例的时候调用登录函数,输入几组user,psw参数化登录用例 测试用例传参需要用装饰器@pytest.mark.p