MSU Perceptual Video Quality tool是莫斯科国立大学(Moscow State University)的Graphics and Media Lab制作的一款视频主观评价工具,使用起来比较方便。最近这段时间赶上毕设需要大量的主观评价试验,使用了一阵子这个软件,感觉还是挺方便的,记录一下它的使用方法。
软件地址:http://www.compression.ru/video/quality_measure/perceptual_video_quality_tool_en.html
1. 软件的特性
(1) 6种主观评价方法(其中有4种来自于ITU-R BT.500标准)。包括:
l DSIS (Double Stimulus Impairment Scale,双激励损伤量表)
l DSCQS (Double Stimulus Continuous Quality Scale,双激励连续质量量表) type I and type II
l SCACJ (Stimulus Comparison Adjectival Categorical Judgement)
l EBU SAMVIQ (Subjective Assessment Method for Video Quality evaluation)
l MSUCQE (MSU Continuous Quality Evaluation)
注:主观评价方法详细介绍参考:视频主观质量评价方法
(1) 3种统计结果的方法
(2) 支持.avi文件和.avs文件
(3) 结果保存为csv格式文件
2. 使用方法
软件分为2个部分:
"MSU Perceptual Video Quality - task manager":任务管理器,用于实验设计人员设置实验。
"MSU Perceptual Video Quality - player":播放器,用被测人员参与试验。
一般情况下先使用task manager设置实验,然后使用player进行实验。整体使用流程如下:
(a) 选择原始序列(一般为YUV,RGB或者其他非压缩格式)
(b) 选择受损序列(可以是YUV等非压缩格式,也可以是H264这样的压缩码流)
(c) 选择测试使用的主观评价方法(即怎样对比原始序列和受损序列)
(d) 寻找实验人员,做实验
(e) 统计实验结果
下面分别介绍两个软件。
(4) MSU Perceptual Video Quality - task manager
软件运行后的截图如图所示。对于新用户,首先给task取一个名称。注意,本软件对中文支持有问题,因此有些名称的task是无法保存的。因此起名字的时候需要使用英文,并且尝试能否保存。后文关于此问题有详细的叙述。
然后,单击任务列表下方的“Add file”添加原始序列和参考序列。添加完成后,所有序列会列在任务列表中。此时需要选择一个序列作为参考序列(即原始序列)。单击列表中序列后,再单击“Set task reference”即可。
最后,在软件的左下方选择主观评价的实验方法。设置完成后,单击“Save task”,保存任务文件就可以了。
(5) MSU Perceptual Video Quality - player
软件运行后,首先输入测试人员的姓名。然后选择任务文件(*.tsk)进行主观评价。
下面简单展示以一下几种常用的主观评价方法。
(a) DSIS(Double Stimulus Impairment Scale,双激励损伤量表)
最基础的视频主观质量评价方法。受测者每次观看原始参考视频和受损视频组成的“视频对”,并且每次总是先观看原始参考视频,然后观看受损视频。评分采用5分制失真测度。下图分别显示了观看参考视频和受损视频时候的截图。由图可见,软件的下方还包含了控制视频播放的各个按钮。
每看完一组“视频对”之后,会弹出对话框要求对受损视频进行打分。如果没看清楚,可以单击“Watch Again”。打分采用5分制,如图所示。
(b) DSCQS (Double Stimulus Continuous Quality Scale,双激励连续质量量表) type I
受测者每次观看原始参考视频和失真视频组成的“视频对”,但与DSIS不同的是,原始参考视频和失真视频的显示顺序是随机的,并且受测者对每个“视频对”中两幅视频的质量都进行打分。需要注意的是DSCQS本身要求打分取值是连续的,但是本软件目前实现的是5分制。
软件中DSCQS有2种。其中 type I是每次显示一个视频,测试人员可以在视频播放的任意时刻,按键盘上的“Tab”键在原始序列和受损序列之间切换,用于查看两个序列之间的区别。
播放完成之后,需要对两个序列都进行打分,如图所示。
(c) DSCQS (Double Stimulus Continuous Quality Scale,双激励连续质量量表) type II
DSCQS的type II是每次同时显示两个视频,其他方面和DSCQS I是一样的。如图所示。
3. 其它需要注意的地方
(1) 实验环境
主观评价需要一定的实验环境,例如灯光这些条件。因此做主观评价的时候,需要先选定合适的实验环境。
(2) 批量实验
当需要做多个实验的时候(即有多个tsk文件),可以在软件目录下新建一个批处理.bat文件,添加以下内容
"MSU perceptual video quality player.exe" "c:\tasks\task1.tsk" "c:\tasks\task2.tsk" "c:\tasks\task3.tsk"
执行该批处理文件,测试人员即可按照task1.tsk,task2.tsk ,task3.tsk的顺序进行实验。
(3) 色盲
有色盲的测试人员可能会干扰到实验结果。本软件提供了监测色盲的功能。在软件目录下新建一个批处理.bat文件,添加以下内容
"MSU perceptual video quality player.exe" -c
执行该批处理文件即可检查测试人员是否有色盲。截图如下所示。
4. 使用中可能的问题
以下是自己使用过程中出现的问题,总结一二。
(1) task manager 中task的命名问题
本软件对中文支持有问题,因此起名字的时候需要使用英文。但是尽管使用了英文,有的时候依然不能保存。这是一个比较棘手的问题,经过多次尝试,总结出了一些经验。
保存的时候,任务名称为“asd”的时候,可能弹出下面对话框:
后面的问号(有时候是乱码)是不合法的字符。但是实际上我们并没有输入这个字符。我的觉得可能是保存任务名的内存没有清0导致的,因此,后面有几个乱码字符,我们就在任务名后面添加几个字符,这样就可以覆盖掉非法字符了。例如我们把“asdf”改为“asdff”,发现就可以保存了(注意:有的时候可能要反反复复好几次,但是最后肯定能保存)。
(2) task manager中无法添加AVI文件。
本软件只支持AVI封装格式的视频文件。所以无论什么测试视频都要转换为AVI封装格式才能被软件识别。注意本软件的测试序列并不限于原始数据序列(YUV,RGB等),也可以使用压缩编码序列(h264,mpeg4等)。
在这里可以使用FFmpeg对测试序列进行封装。注意一定要使用“-vcodec copy”参数,这样才能保证在不改变编码方式的情况下封装视频数据,否则会导致视频重新编码从而影响到视频的质量。下面举几个例子。
H264码流封装成AVI:
ffmpeg -i src11_480x272.264 -vcodec copy src11_480x272.avi
YUV420P数据封装成AVI:
ffmpeg -s 480x272 -i src11_480x272.yuv -vcodec copy src11_480x272.avi
(3) player播放AVI文件失败。
本软件中的播放器是基于DirectShow的,所以需要安装相应的解码器才能保证可以播放AVI文件中的码流。在这里介绍一个最简单而且通用的方法:下载安装一个《终极解码》软件。《终极解码》附带了大量的解码器,足够用了。当然,安装其它解码器软件也可以解决问题。
视频主观质量评价工具:MSU Perceptual Video Quality tool