代码测试覆盖率

Java单元测试(Junit+Mock+代码覆盖率)


单元测试是编写测试代码,用来检测特定的、明确的、细颗粒的功能。单元测试并不一定保证程序功能是正确的,更不保证整体业务是准备的。

单元测试不仅仅用来保证当前代码的正确性,更重要的是用来保证代码修复改进重构之后的正确性。

一般来说,单元测试任务包括

  1. 接口功能测试:用来保证接口功能的正确性。
  2. 局部数据结构测试(不常用):用来保证接口中的数据结构是正确的
    1. 比如变量有无初始值
    2. 变量是否溢出
  3. 边界条件测试
    1. 变量没有赋值(即为NULL)
    2. 变量是数值(或字符)
      1. 主要边界:最小值,最大值,无穷大(对于DOUBLE等)
      2. 溢出边界(期望异常或拒绝服务):最小值-1,最大值+1
      3. 临近边界:最小值+1,最大值-1
    3. 变量是字符串
      1. 引用“字符变量”的边界
      2. 空字符串
      3. 对字符串长度应用“数值变量”的边界
    4. 变量是集合
      1. 空集合
      2. 对集合的大小应用“数值变量”的边界
      3. 调整次序:升序、降序
    5. 变量有规律
      1. 比如对于Math.sqrt,给出n^2-1,和n^2+1的边界
  4. 所有独立执行通路测试:保证每一条代码,每个分支都经过测试
    1. 代码覆盖率

      1. 语句覆盖:保证每一个语句都执行到了
      2. 判定覆盖(分支覆盖):保证每一个分支都执行到
      3. 条件覆盖:保证每一个条件都覆盖到true和false(即if、while中的条件语句)
      4. 路径覆盖:保证每一个路径都覆盖到
    2. 相关软件
      1. Cobertura:语句覆盖
      2. Emma: Eclipse插件Eclemma
  5. 各条错误处理通路测试:保证每一个异常都经过测试

JUNIT

JUnit是Java单元测试框架,已经在Eclipse中默认安装。目前主流的有JUnit3和JUnit4。JUnit3中,测试用例需要继承TestCase类。JUnit4中,测试用例无需继承TestCase类,只需要使用@Test等注解。

Junit3

先看一个Junit3的样例

  1. // 测试java.lang.Math
  2. // 必须继承TestCase
  3. public class Junit3TestCase extends TestCase {
  4. public Junit3TestCase() {
  5. super();
  6. }
  7. // 传入测试用例名称
  8. public Junit3TestCase(String name) {
  9. super(name);
  10. }
  11. // 在每个Test运行之前运行
  12. @Override
  13. protected void setUp() throws Exception {
  14. System.out.println("Set up");
  15. }
  16. // 测试方法。
  17. // 方法名称必须以test开头,没有参数,无返回值,是公开的,可以抛出异常
  18. // 也即类似public void testXXX() throws Exception {}
  19. public void testMathPow() {
  20. System.out.println("Test Math.pow");
  21. Assert.assertEquals(4.0, Math.pow(2.0, 2.0));
  22. }
  23. public void testMathMin() {
  24. System.out.println("Test Math.min");
  25. Assert.assertEquals(2.0, Math.min(2.0, 4.0));
  26. }
  27. // 在每个Test运行之后运行
  28. @Override
  29. protected void tearDown() throws Exception {
  30. System.out.println("Tear down");
  31. }
  32. }

如果采用默认的TestSuite,则测试方法必须是public void testXXX() [throws Exception] {}的形式,并且不能存在依赖关系,因为测试方法的调用顺序是不可预知的。
上例执行后,控制台会输出

  1. Set up
  2. Test Math.pow
  3. Tear down
  4. Set up
  5. Test Math.min
  6. Tear down

从中,可以猜测到,对于每个测试方法,调用的形式是:

  1. testCase.setUp();
  2. testCase.testXXX();
  3. testCase.tearDown();
运行测试方法

在Eclipse中,可以直接在类名或测试方法上右击,在弹出的右击菜单中选择Run As -> JUnit Test。
在Mvn中,可以直接通过mvn test命令运行测试用例。
也可以通过Java方式调用,创建一个TestCase实例,然后重载runTest()方法,在其方法内调用测试方法(可以多个)。

  1. TestCase test = new Junit3TestCase("mathPow") {
  2. // 重载
  3. protected void runTest() throws Throwable {
  4. testMathPow();
  5. };
  6. };
  7. test.run();

更加便捷地,可以在创建TestCase实例时直接传入测试方法名称,JUnit会自动调用此测试方法,如

  1. TestCase test = new Junit3TestCase("testMathPow");
  2. test.run();
Junit TestSuite

TestSuite是测试用例套件,能够运行过个测试方法。如果不指定TestSuite,会创建一个默认的TestSuite。默认TestSuite会扫描当前内中的所有测试方法,然后运行。
如果不想采用默认的TestSuite,则可以自定义TestSuite。在TestCase中,可以通过静态方法suite()返回自定义的suite。

  1. import junit.framework.Assert;
  2. import junit.framework.Test;
  3. import junit.framework.TestCase;
  4. import junit.framework.TestSuite;
  5. public class Junit3TestCase extends TestCase {
  6. //...
  7. public static Test suite() {
  8. System.out.println("create suite");
  9. TestSuite suite = new TestSuite();
  10. suite.addTest(new Junit3TestCase("testMathPow"));
  11. return suite;
  12. }
  13. }

允许上述方法,控制台输出

写道

create suite

Set up

Test Math.pow

Tear down

并且只运行了testMathPow测试方法,而没有运行testMathMin测试方法。通过显式指定测试方法,可以控制测试执行的顺序。

也可以通过Java的方式创建TestSuite,然后调用TestCase,如

  1. // 先创建TestSuite,再添加测试方法
  2. TestSuite testSuite = new TestSuite();
  3. testSuite.addTest(new Junit3TestCase("testMathPow"));
  4. // 或者 传入Class,TestSuite会扫描其中的测试方法。
  5. TestSuite testSuite = new TestSuite(Junit3TestCase.class,Junit3TestCase2.class,Junit3TestCase3.class);
  6. // 运行testSuite
  7. TestResult testResult = new TestResult();
  8. testSuite.run(testResult);

testResult中保存了很多测试数据,包括运行测试方法数目(runCount)等。

JUnit4

与JUnit3不同,JUnit4通过注解的方式来识别测试方法。目前支持的主要注解有:

  • @BeforeClass 全局只会执行一次,而且是第一个运行
  • @Before 在测试方法运行之前运行
  • @Test 测试方法
  • @After 在测试方法运行之后允许
  • @AfterClass 全局只会执行一次,而且是最后一个运行
  • @Ignore 忽略此方法

下面举一个样例:

  1. import org.junit.After;
  2. import org.junit.AfterClass;
  3. import org.junit.Assert;
  4. import org.junit.Before;
  5. import org.junit.BeforeClass;
  6. import org.junit.Ignore;
  7. import org.junit.Test;
  8. public class Junit4TestCase {
  9. @BeforeClass
  10. public static void setUpBeforeClass() {
  11. System.out.println("Set up before class");
  12. }
  13. @Before
  14. public void setUp() throws Exception {
  15. System.out.println("Set up");
  16. }
  17. @Test
  18. public void testMathPow() {
  19. System.out.println("Test Math.pow");
  20. Assert.assertEquals(4.0, Math.pow(2.0, 2.0), 0.0);
  21. }
  22. @Test
  23. public void testMathMin() {
  24. System.out.println("Test Math.min");
  25. Assert.assertEquals(2.0, Math.min(2.0, 4.0), 0.0);
  26. }
  27. // 期望此方法抛出NullPointerException异常
  28. @Test(expected = NullPointerException.class)
  29. public void testException() {
  30. System.out.println("Test exception");
  31. Object obj = null;
  32. obj.toString();
  33. }
  34. // 忽略此测试方法
  35. @Ignore
  36. @Test
  37. public void testMathMax() {
  38. Assert.fail("没有实现");
  39. }
  40. // 使用“假设”来忽略测试方法
  41. @Test
  42. public void testAssume(){
  43. System.out.println("Test assume");
  44. // 当假设失败时,则会停止运行,但这并不会意味测试方法失败。
  45. Assume.assumeTrue(false);
  46. Assert.fail("没有实现");
  47. }
  48. @After
  49. public void tearDown() throws Exception {
  50. System.out.println("Tear down");
  51. }
  52. @AfterClass
  53. public static void tearDownAfterClass() {
  54. System.out.println("Tear down After class");
  55. }
  56. }

如果细心的话,会发现Junit3的package是junit.framework,而Junit4是org.junit。
执行此用例后,控制台会输出

写道

Set up before class

Set up

Test Math.pow

Tear down

Set up

Test Math.min

Tear down

Set up

Test exception

Tear down

Set up

Test assume

Tear down

Tear down After class

可以看到,执行次序是@BeforeClass -> @Before -> @Test -> @After -> @Before -> @Test -> @After -> @AfterClass。@Ignore会被忽略。

运行测试方法

与Junit3类似,可以在Eclipse中运行,也可以通过mvn test命令运行。

Assert

Junit3和Junit4都提供了一个Assert类(虽然package不同,但是大致差不多)。Assert类中定义了很多静态方法来进行断言。列表如下:

  • assertTrue(String message, boolean condition) 要求condition == true
  • assertFalse(String message, boolean condition) 要求condition == false
  • fail(String message) 必然失败,同样要求代码不可达
  • assertEquals(String message, XXX expected,XXX actual) 要求expected.equals(actual)
  • assertArrayEquals(String message, XXX[] expecteds,XXX [] actuals) 要求expected.equalsArray(actual)
  • assertNotNull(String message, Object object) 要求object!=null
  • assertNull(String message, Object object) 要求object==null
  • assertSame(String message, Object expected, Object actual) 要求expected == actual
  • assertNotSame(String message, Object unexpected,Object actual) 要求expected != actual
  • assertThat(String reason, T actual, Matcher matcher) 要求matcher.matches(actual) == true

Mock/Stub

Mock和Stub是两种测试代码功能的方法。Mock测重于对功能的模拟。Stub测重于对功能的测试重现。比如对于List接口,Mock会直接对List进行模拟,而Stub会新建一个实现了List的TestList,在其中编写测试的代码。
强烈建议优先选择Mock方式,因为Mock方式下,模拟代码与测试代码放在一起,易读性好,而且扩展性、灵活性都比Stub好。
比较流行的Mock有:

其中EasyMock和Mockito对于Java接口使用接口代理的方式来模拟,对于Java类使用继承的方式来模拟(也即会创建一个新的 Class类)。Mockito支持spy方式,可以对实例进行模拟。但它们都不能对静态方法和final类进行模拟,powermock通过修改字节码 来支持了此功能。

EasyMock

IBM上有几篇介绍EasyMock使用方法和原理的文章:EasyMock 使用方法与原理剖析使用 EasyMock 更轻松地进行测试
EasyMock把测试过程分为三步:录制、运行测试代码、验证期望。
录制过程大概就是:期望method(params)执行times次(默认一次),返回result(可选),抛出exception异常(可选)。
验证期望过程将会检查方法的调用次数。
一个简单的样例是:

  1. @Test
  2. public void testListInEasyMock() {
  3. List list = EasyMock.createMock(List.class);
  4. // 录制过程
  5. // 期望方法list.set(0,1)执行2次,返回null,不抛出异常
  6. expect1: EasyMock.expect(list.set(0, 1)).andReturn(null).times(2);
  7. // 期望方法list.set(0,1)执行1次,返回null,不抛出异常
  8. expect2: EasyMock.expect(list.set(0, 1)).andReturn(1);
  9. // 执行测试代码
  10. EasyMock.replay(list);
  11. // 执行list.set(0,1),匹配expect1期望,会返回null
  12. Assert.assertNull(list.set(0, 1));
  13. // 执行list.set(0,1),匹配expect1(因为expect1期望执行此方法2次),会返回null
  14. Assert.assertNull(list.set(0, 1));
  15. // 执行list.set(0,1),匹配expect2,会返回1
  16. Assert.assertEquals(1, list.set(0, 1));
  17. // 验证期望
  18. EasyMock.verify(list);
  19. }

EasyMock还支持严格的检查,要求执行的方法次序与期望的完全一致。

Mockito

Mockito是Google Code上的一个开源项目,Api相对于EasyMock更好友好。与EasyMock不同的是,Mockito没有录制过程,只需要在“运行测试代码” 之前对接口进行Stub,也即设置方法的返回值或抛出的异常,然后直接运行测试代码,运行期间调用Mock的方法,会返回预先设置的返回值或抛出异常,最 后再对测试代码进行验证。可以查看此文章了解两者的不同。
官方提供了很多样例,基本上包括了所有功能,可以去看看
这里从官方样例中摘录几个典型的:

  • 验证调用行为

    1. import static org.mockito.Mockito.*;
    2. //创建Mock
    3. List mockedList = mock(List.class);
    4. //使用Mock对象
    5. mockedList.add("one");
    6. mockedList.clear();
    7. //验证行为
    8. verify(mockedList).add("one");
    9. verify(mockedList).clear();
  • 对Mock对象进行Stub

    1. //也可以Mock具体的类,而不仅仅是接口
    2. LinkedList mockedList = mock(LinkedList.class);
    3. //Stub
    4. when(mockedList.get(0)).thenReturn("first"); // 设置返回值
    5. when(mockedList.get(1)).thenThrow(new RuntimeException()); // 抛出异常
    6. //第一个会打印 "first"
    7. System.out.println(mockedList.get(0));
    8. //接下来会抛出runtime异常
    9. System.out.println(mockedList.get(1));
    10. //接下来会打印"null",这是因为没有stub get(999)
    11. System.out.println(mockedList.get(999));
    12. // 可以选择性地验证行为,比如只关心是否调用过get(0),而不关心是否调用过get(1)
    13. verify(mockedList).get(0);

代码覆盖率

比较流行的工具是Emma和Jacoco,Ecliplse插件有eclemma。eclemma2.0之前采用的是Emma,之后采用的是Jacoco。这里主要介绍一下Jacoco。Eclmama由于是Eclipse插件,所以非常易用,就不多做介绍了。

Jacoco

Jacoco可以嵌入到Ant、Maven中,也可以使用Java Agent技术监控任意Java程序,也可以使用Java Api来定制功能。
Jacoco会监控JVM中的调用,生成监控结果(默认保存在jacoco.exec文件中),然后分析此结果,配合源代码生成覆盖率报告。需要注意的是:监控和分析这两步,必须使用相同的Class文件,否则由于Class不同,而无法定位到具体的方法,导致覆盖率均为0%。

Java Agent嵌入

首先,需要下载jacocoagent.jar文件,然后在Java程序启动参数后面加上 -javaagent:[yourpath/]jacocoagent.jar=[option1]=[value1],[option2]=[value2],具体的options可以在此页面找到。默认会在JVM关闭时(注意不能是kill -9),输出监控结果到jacoco.exec文件中,也可以通过socket来实时地输出监控报告(可以在Example代码中找到简单实现)。

Java Report

可以使用Ant、Mvn或Eclipse来分析jacoco.exec文件,也可以通过API来分析。

  1. public void createReport() throws Exception {
  2. // 读取监控结果
  3. final FileInputStream fis = new FileInputStream(new File("jacoco.exec"));
  4. final ExecutionDataReader executionDataReader = new ExecutionDataReader(fis);
  5. // 执行数据信息
  6. ExecutionDataStore executionDataStore = new ExecutionDataStore();
  7. // 会话信息
  8. SessionInfoStore sessionInfoStore = new SessionInfoStore();
  9. executionDataReader.setExecutionDataVisitor(executionDataStore);
  10. executionDataReader.setSessionInfoVisitor(sessionInfoStore);
  11. while (executionDataReader.read()) {
  12. }
  13. fis.close();
  14. // 分析结构
  15. final CoverageBuilder coverageBuilder = new CoverageBuilder();
  16. final Analyzer analyzer = new Analyzer(executionDataStore, coverageBuilder);
  17. // 传入监控时的Class文件目录,注意必须与监控时的一样
  18. File classesDirectory = new File("classes");
  19. analyzer.analyzeAll(classesDirectory);
  20. IBundleCoverage bundleCoverage = coverageBuilder.getBundle("Title");
  21. // 输出报告
  22. File reportDirectory = new File("report"); // 报告所在的目录
  23. final HTMLFormatter htmlFormatter = new HTMLFormatter();  // HTML格式
  24. final IReportVisitor visitor = htmlFormatter.createVisitor(new FileMultiReportOutput(reportDirectory));
  25. // 必须先调用visitInfo
  26. visitor.visitInfo(sessionInfoStore.getInfos(), executionDataStore.getContents());
  27. File sourceDirectory = new File("src"); // 源代码目录
  28. // 遍历所有的源代码
  29. // 如果不执行此过程,则在报告中只能看到方法名,但是无法查看具体的覆盖(因为没有源代码页面)
  30. visitor.visitBundle(bundleCoverage, new DirectorySourceFileLocator(sourceDirectory, "utf-8", 4));
  31. // 执行完毕
  32. visitor.visitEnd();
  33. }
时间: 2024-10-14 10:12:46

代码测试覆盖率的相关文章

Nodejs开源项目里怎么样写测试、CI和代码测试覆盖率

测试 目前主流的就bdd和tdd,自己查一下差异 推荐 mocha和tape 另外Jasmine也挺有名,angularjs用它,不过挺麻烦的,还有一个选择是qunit,最初是为jquery测试写的,在nodejs里用还是觉得怪怪的. 如果想简单可以tap,它和tape很像,下文会有详细说明 mocha mocha是tj写的 https://github.com/mochajs/mocha var assert = require("assert") describe('truth',

多环境多需求并行下的代码测试覆盖率统计工具实现

马蜂窝技术原创内容,更多干货请关注公众号:mfwtech 测试覆盖率常被用来衡量测试的充分性和完整性,也是测试有效性的一个度量.「敏捷开发」的大潮之下,如何在快速迭代的同时保证对被测代码的覆盖度和产品质量,是一个非常有挑战性的话题. 在马蜂窝大交通.酒店等交易相关业务中,项目的开发和测试实践同样遵循敏捷的原则,迭代周期短.速度快.因此,如何依据测试覆盖率数据帮助我们有效判断项目质量.了解测试状态.提升迭代效率,是我们一直很重视的工作. Part.1 测试覆盖率统计中的挑战 对于功能测试而言,通常

cobertura代码测试覆盖率使用案例

1 . 概念 Cobertura 是一款优秀的开源测试覆盖率统计工具,它与单元测试代码结合,标记并分析在测试包运行时执行了哪些代码和没有执行哪些代码以及所经过的条件分支,来测量测试覆盖率.除了找出未测试到的代码并发现 bug 外,Cobertura 还可以通过标记无用的.执行不到的代码来优化代码,最终生成一份美观详尽的 HTML 覆盖率检测报告. 2 . Maven集成Cobertura 2.1 pom.xml配置 <!-- 测试覆盖率插件 -->               <plug

spring && Cobertura && maven &&junit 单元测试以及测试覆盖率

1. 目的: junit 单元测试,Cobertura   测试覆盖率报告 项目目录结构 2. maven 配置 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://mave

测试覆盖率工具:EclEmma

测试覆盖率工具:EclEmma 2016-08-26 目录 1 测试覆盖率实现技术2 EclEmma介绍3 EclEmma测试覆盖率指标4 EclEmma安装5 示例项目介绍  5.1 创建项目  5.2 用Coverage as TestNG Suite跑用例  5.3 跑后结果  5.4 导出HTML报告   5.5 导入导出合并覆盖率Session  5.6 测试引用的jar包的覆盖率 1 测试覆盖率实现技术 返回 Instrumentation:代码注入,在产品代码的关键位置插入统计代码

20种源代码测试工具

本文推荐并点评了软件开发测试中经常使用的20种源代码测试工具,能够帮助大部分人解决测试问题. AQtime--该产品含有完整的性能和调试工具集,能够收集程序运行时关键的性能信息和内存/资源分配信息,并提交概要报告和详细报告,还提供所有的程序优化处理工具,囊括了自定义过滤器.图形化的调用层次结构一直到源代码浏览等内容 AdaTEST--一款针对于Ada应用程序的覆盖率测试.静态测试和动态测试工具 BoundsChecker--为C++开发者而生的运行时错误检测和调试工具,支持C/C++..Net.

Java测试覆盖率工具----Cobertura,EclEmma

Cobertura 是一个与Junit集成的代码覆盖率测量工具 它是免费.开源的 它可以与Ant和Maven集成,也可以通过命令行调用 可以生成HTML或XML格式的报告 可以按照不同的标准对HTML结果进行排序 为每个类.包以及整个项目计算所覆盖的代码行与代码分支的百分比例 Eclipse插件地址: http://ecobertura.johoop.de/update/ (requires Eclipse 3.5+) 使用Ant来执行Cobertura 操作步骤: 1.添加核心依赖jar包--

[Node.js] Express的测试覆盖率

原文地址:http://www.moye.me/2014/12/03/express_coverage/ 引子 有群友问到Express怎么做 单元测试/覆盖率测试,这是上篇所遗漏的,特此补上 Express Web测试 做 Express Web 测试首先要面对的问题是在哪端进行测试: 客户端的请求响应测试是黑盒,需要预启动站点,且无法附加覆盖率测试 服务端的单元测试需要 Mock ,可附加覆盖率测试 我们需要对Express的路由做覆盖率测试,显然,我们会选择在服务端进行测试.这意味着:每个

转:如何提高测试用例设计的测试覆盖率

说到测试用例的设计,我想每个有过测试经历的测试工程师都会认为很简单,不就是:按需求或概要设计,得到软件功能划分图,然后据此按每个功能,采用等价类划分.临界值.因果图等方法来设计用例就行了. 但事实上撇开测试数据的设计不谈,仅就测试项来说,我们发现,对同一个项目,有经验的测试人员,在写用例或测试时总会有更多的测试考虑点,从而发现更多的问题:而有些测试人员测试用例的撰写却只有那么三板斧,表面看好象已经把页面所有信息的测试都考虑到了,实际上却还是遗漏了大量测试覆盖点,导致其测试出来的程序总是比较脆弱.