说 起自动化测试,我想大家都会有个疑问,要不要做自动化测试? 自动化测试给我们带来的收益是否会超出在建设时所投入的成本,这个嘛别说是我,即便是高手也很难回答,自动化测试的初衷是美好的,而测试工程师往往在实现 过程中花费了很多成本、精力,而最终以失败告终。 失败的原因会很多,我总结几项:
1. 太过依赖测试工具,高估了工具的力量,最终会以失望告终。
2. 项目紧急的情况,为了规避那些多余的环节,干脆人工测试,结果整个链路中断。
3. 研发和测试人员不能很好的交互,如果这两个角色之间有了一道防火墙,那别说自动化测试了,手工测试也不会有好的效果。测试人员可以把研发想象成自己的女朋友,努力培养相互之间的感情。
4. 自动化测试人员实力被低估而导致的情绪低落,这个问题在所有岗位上都会发生,当然要看领导重视程度了。
5. 资源不够,公司不舍得资源投入,或者蹑手蹑脚,那就不要浪费时间了。
6. 太高的期望,过低的回报。
现在国内没有几家公司说能玩转自动化测试的,在看国外那些耳熟能详的企业像google,Microsoft,它们反而搞得热火朝天的。可笑的是在微软中国的测试部门工 作过几年的测试经理,出来搞个什么《微软自动化测试体系最佳实践课程》,就能忽悠国内的那些知名的企业掏钱去听,我这也不是说他们的东西不好, 只是希望我们自己也能够重视起来,要知道人家“卓越”体系也是由那些“专业团队”花了很多的时间和精力才搭建起来的,所以先不说收益如何,即便是为了这一 个美好的初衷,我们也应该去尝试一下,即使是失败。
我也做了几年的测试,但也是最近才开始研究自动化测试的,在工作中多多少少接触过几种常见的工具,如silktest和Selenium,搞过测试的应该都听过,我最近刚刚为现有项目搭建了一个测试框架,为其中的部分模块编写了一些测试case,收益还是颇丰的,先说说这两种工具吧。
SilkTest是商业工具,想使用是需要花钱的,但是有现成的平台和框架,也比较容易学习,可以基于windows,unix平台。ie,firefox(部分)浏览器。可以录制回放,对象识别或者手工编程,也能基于数据驱动,关键字驱动等等测试框架。SilkTest里面的语言4test其实是类C(也有Silk4J,用Java写),编程能力相对较强。
Selenium是免费的,需要有类似ide(如eclipse),原先是thoughtworks的几个牛人开发的,现在google维护(人都跳槽过去了)。可以基于windows,unix,mac等平台。ie,firefox等浏览器。 测试团队,经费不足,能力很强(Java上面),有对测试平台和环境要求比较高(ie,firefox,safari等等),那么Selenium是很不错的选择。
今天我就简单入个门,先介绍通过junit+selenium+Coverlipse+ant来搭建一整套自动化测试框架,开始之前我先提出几个问题,请大家根据下面的问题来阅读本篇文章。
1.如何录制脚本?
2.如何转换成junit脚本?
3.如何生成junit日志?
4.如何回放selenium及查看回放日志?
5.如何查看代码的覆盖率?
一、工具准备
工具 |
说明 |
下载 |
junit |
JUnit是一个开发源代码的Java测试框架,用于编写和运行可重复的测试。 |
http://www.junit.org |
selenium |
先介绍两个重要的组件Selenium-IDE来录制脚本;selenium-rc selenium-remote control缩写,是使用具体的语言来编写测试类 |
http://seleniumhq.org/download/ |
Coverlipse |
Coverlipse这个Eclipse插件能够把JUnit测试的代码覆盖直观化。 |
http://coverlipse.sourceforge.net/download.php |
Ant |
Ant是一个类似make的工具,大家都已经很熟悉了,这里我们可以利用其中的ant task来生成junit日志 |
http://ant.apache.org/bindownload.cgi |
二、Junit的安装
1. Eclipse本身会自带Junit.jar包,所一般情况下是不需要额外下载junit的。
2. 将junit3的library添加到工程的buildPath中
3. 因为junit的日志是通过Ant来生成的,所以一定要将Junit.jar添加到ant_home里
三、selenium的安装
1. 安装seleniumIDE,打开火狐浏览器,然后进入工具—>添加附件,搜索seleniumIDE
2. 查询出对应的IDE后,点击直接安装,安装结束后重启FireFox,看到下面的菜单说明安装成功
3. 安装selenium-rc,先去http://www.openqa.org/selenium/下载selenium包。用命令行来到解压到文件夹下:d:/autoTesting/selenium-server-standalone-2.0b1.jar目录下
4. 运行java -jar selenium-server-standalone-2.0b1.jar,启动selenium server。为了在运行时应用运行的浏览器与selenium服务的浏览器分开可在其后面加–multiWindow。
5. 在Eclipse创建一个项目,在项目的build path里面加上elenium-server-1.0-beta-1下selenium-server.jar、selenium-java-client-driver-1.0-beta-1下selenium-java-client-driver.jar(这两个在刚解压的包里面)和eclipse/plugins/org.junit_3.8.1下junit.jar。
6. 将制定的Jar包导入到工程里,然后你就可以集成并使用相应的API,编写自己的测试CASE了。
四、Coverlipse的安装
1. 直接通过Eclipse即可安装,步骤如下
- In Eclipse, click Help -> Software Updates -> Find and Install.
- In the dialog, select Search for new features to install, then Next.
- In the next step, add a New Remote Site. Name it "Coverlipse update site", the URL is "http://coverlipse.sf.net/update/".
- Press Finish. Eclipse now searches for the Coverlipse feature to install and shows that to you.
2. 配置Coverlipse以获取代码覆盖
3. 一旦单击了Run,Eclipse会运行Coverlipse并在源代码(如图7所示)中嵌入标记,该标记显示了具有相关JUnit测试的代码部分
4. Coverlipse生成的具有嵌入类标记的报告
5. 正如您所见,使用Coverlipse Eclipse插件可以更快地确定代码覆盖率。例如,这种实时数据功能有助于在将代码签入CM系统前更好地进行测试。
五、ANT安装,eclipse自带,只需要配置环境变量ant_home即可。
六、创建一个案例
1. 创建一个工程testSelenium安装下面目录结构
2. 录制脚本,打开Firefox浏览器,进入selenium IDE菜单
3. 输入相应录制的地址,点击红色按钮,开始录制
4. 将脚本转换成junit代码,然后将其拷贝到测试类中做为测试CASE编码的雏形。
六、如何查看日志,这里日志分两类:
l Junit日志,通过junit写的断言,和标准输出,这些操作产生的日志记录。
l Selenium日志,当运行junit脚本时,selenium相关的脚本就会产生回放日志,例如打开界面的url,标准输入,输出等信息。
虽然这两种日志没有交集,需要分开查看。但一般情况下我们只需要观察Selenium日志已经足够用了,与其相比Junit日志更适用于编码阶段。
1. Junit日志,只需要配置脚本build-selenium.xml,如下
<project name="seleniumTest"default="junit" basedir=".">
<propertyenvironment="env" />
<conditionproperty="ia.home" value="${env.IA_HOME}">
<issetproperty="env.IA_HOME" />
</condition>
<propertyname="run.classpath" value="../class">
</property>
<propertyname="run.srcpath" value="../testSelenium">
</property>
<propertyname="test.xml" value="../xml">
</property>
<propertyname="test.report" value="../report">
</property>
<propertyname="lib.dir" value="../lib" />
<pathid="compile.path">
<filesetdir="${lib.dir}">
<includename="junit.jar" />
<includename="ant.jar" />
</fileset>
</path>
<targetname="init">
<deletedir="${run.classpath}" />
<mkdirdir="${run.classpath}" />
<deletedir="${test.report}" />
<mkdirdir="${test.report}" />
<deletedir="${test.xml}" />
<mkdirdir="${test.xml}" />
</target>
<targetname="compile" depends="init">
<javacdestdir="${run.classpath}" srcdir="${run.srcpath}" />
</target>
<targetname="junit" depends="compile">
<junitprintsummary="false">
<classpathpath="${run.classpath}">
<pathrefid="compile.path" />
</classpath>
<formattertype="xml" />
<batchtesttodir="${test.xml}">
<filesetdir="${run.classpath}">
<includename="**/Test*.class" />
<includename="**/*Test.class" />
</fileset>
</batchtest>
</junit>
<junitreporttodir="${test.xml}">
<filesetdir="${test.xml}">
<includename="TEST-*.xml" />
</fileset>
<reportformat="frames" todir="${test.report}" />
</junitreport>
</target>
</project>
2. 运行ant脚本以后,就可以生成相应的junit日志。
- selenium日志
当运行junit脚本时,selenium相关的脚本就会产生回放日志,但默认记录的东西可读性太差了,所以我们使用loggingSelenium(http://loggingselenium.sourceforge.net/usage.html) ,可以将每个case可以生成记录selenium命令的html格式的result了。
4. plugin的下载地址:
5. 安装方法:只需要将下载的logging-selenium-1.2.jar导入到工程里即可。
6. 编写代码如下
@Before
public void setUp() {
finalString resultPath ="absolute-path-to-where-your-result-will-be-written";
finalString resultHtmlFileName = resultPath + File.separator +"result.html";
finalString resultEncoding = "UTF-8"
loggingWriter = LoggingUtils.createWriter(resultHtmlFileName,resultEncoding);
LoggingResultsFormatter htmlFormatter =
newHtmlResultFormatter(loggingWriter, resultEncoding);
htmlFormatter.setScreenShotBaseUri(""); // this is for linkingto the screenshots
htmlFormatter.setAutomaticScreenshotPath(resultPath);
// wrapHttpCommandProcessor from remote-control
LoggingCommandProcessor myProcessor =
new LoggingCommandProcessor(newHttpCommandProcessor(your-configs), htmlFormatter);
selenium= new LoggingDefaultSelenium(myProcessor);
selenium.start();
}
@After
public void tearDown() {
selenium.stop();
try {
if(null != loggingWriter) {
loggingWriter.close();
}
} catch(IOException e) {
//do nothing
}
}
7. 运行成功以后在指定的目录中生成相应的reports
七
七、框架优势
1. 记录测试的过程,所见即是所得,selenium的所有内部程序都是用Javascipt编写的,比较灵活;
2. 可以通过selenium IDE录制脚本,脚本可以回放,可以作为junit编码的雏形;
3. 支持多种操作系统;
4. 支持多种编码语言。JAVA,.NET, Perl,Python, Ruby
八、框架劣势
1. selenium的录制工具只能安装在firefox浏览器上, 如果系统界面不被firefox支持,那就要花费一定的时间去手写case。 不过最近听说有一个工具叫360WebTester ,可以支持IE的录制,而且是国产的评价还不错,有时间我要研究一下。