在windows系统中使用backoff2005的测试脚本来测试分词结果

分词程序的测试一般用backoff2005的脚本,但是backoff2005脚本是运行在linux系统上的。如果在windows系统中时,怎么使用该脚本呢?假设用户已经有了icwb2-data压缩包了。

首先得安装perl开发环境。下载地址:

https://dwimperl.googlecode.com/files/dwimperl-5.14.2.1-v7-32bit.exe
接下来,需要安装diff工具,下载地址:

http://superb-dca3.dl.sourceforge.net/project/gnuwin32/diffutils/2.8.7-1/diffutils-2.8.7-1-bin.zip

把diff工具解压到E:\diffutils目录下即可,然后把E:\diffutils\bin目录添加到系统的环境变量中。

接下来,就需要对icwb2-data/script/score脚本进行修改:

把46行的代码修改成:

$diff = "E:/diffutils/bin/diff";

把52,53行的代码修改成:(注意d:/tmp目录要存在)

$tmp1 = "d:/tmp/comp01$$";

$tmp2 = "d:/tmp/comp02$$";

接下来,就可以执行测试命令了:

在E:\icwb2-data目录中打开命令行工具并执行命令,如下:

E:\icwb2-data>perl scripts/score gold/pku_training_words.utf8 gold/pku_test_gold

.utf8 gold/pku_test_gold.utf8 > pku_maxent.score

命令的执行需要一段时间,等待即可。

测试命令完成后,会在E:\icwb2-data目录下生成pku_maxent.score文件,最终结果如下:

INSERTIONS: 0

DELETIONS: 0

SUBSTITUTIONS: 0

NCHANGE: 0

NTRUTH: 27

NTEST: 27

TRUE WORDS RECALL: 1.000

TEST WORDS PRECISION: 1.000

=== SUMMARY:

=== TOTAL INSERTIONS: 0

=== TOTAL DELETIONS: 0

=== TOTAL SUBSTITUTIONS: 0

=== TOTAL NCHANGE: 0

=== TOTAL TRUE WORD COUNT: 104372

=== TOTAL TEST WORD COUNT: 104372

=== TOTAL TRUE WORDS RECALL: 1.000

=== TOTAL TEST WORDS PRECISION: 1.000

=== F MEASURE: 1.000

=== OOV Rate: 0.058

=== OOV Recall Rate: 1.000

=== IV Recall Rate: 1.000

### gold/pku_test_gold.utf8 0 0 0 0 104372 104372 1.000 1.000 1.000 0.058 1.000 1.000

因为我们用的测试集和分词结果集是同一个文件,所以正确率、召回率什么的都是100%。

时间: 2024-10-11 10:16:41

在windows系统中使用backoff2005的测试脚本来测试分词结果的相关文章

Windows系统中Xshell与Linux连接时遇到的问题

前提条件:在Windows系统中已经安装了Xshell,并且安装了虚拟机软件和Linux系统 步骤1.在Linux系统中root用户下,使用ifconfig命令查看虚拟系统Linux的IP地址.如图1 图1 步骤2.打开Xshell,创建连接,在新建会话属性对话框中,登记连接的名字,选择使用的协议,以及需要连接的虚拟机IP地址.如图2 图2 当连接建立好,只需根据提示输入用户名和密码就可以在Xshell终端使用Linux系统. 下面讨论当连接不能连接时,需要在哪许方面找原因: 原因1:虚拟机网络

如何将USBKey中的证书注册到Windows系统中

本篇文章就介绍一下如何使用微软CAPI接口完成将USBKey中的证书注册到Windows系统中. (1)        获取CSP句柄. CryptAcquireContext(&hTokenProv,NULL,“EnterSafe ET199Auto CSP V1.0”,PROV_RSA_FULL,NULL) (2)        获取USBKey内密钥句柄,这时要注意锁内密钥的类型是签名密钥(AT_SIGNATURE)或者交换密钥(AT_KEYEXCHANGE). CryptGetUserK

在Windows系统中安装集成的PHP开发环境

原文:在Windows系统中安装集成的PHP开发环境 刚想学php的,又不会配置复杂php的环境,可以使用集成的,目前网上提供常用的PHP集成环境主要有AppServ.phpStudy.WAMP和XAMPP等软件,这些软件之间的差别不大.每种集成包都有多个不同的版本,可以下载版本比较高的任意一个集成软件安装使用. 我用的是appserv-win32-2.5.10.exe下载地址:http://www.appservnetwork.com/index.php?newlang=chinese App

Cmder命令行工具在Windows系统中的配置

一.Cmder简介 Cmder:一款用于Windows系统中,可增强传统cmd命令行工具的控制台模拟器(类似于Linux系统中的终端控制窗口) 特点: 无需安装,解压即用 可使用较多Linux命令,如:vi.vim.ls.pwd.grep.unzip.bash.perl.ssh 可在窗口内外自由使用常规的复制和粘贴操作 支持多Tab页的cmd窗口 提供了对命令窗口中的字符串进行快速搜索定位的功能 在传统cmd命令行工具的基础上,增加了Monokai配色方案,界面美观 命令窗口尺寸大小可自由调整

【其他】【服务器】【4】删除Windows系统中不想要的服务

步骤: 1,开始菜单栏查找“服务”,打开后找到想要删除的服务 2,右键单击想要删除的服务,选择“属性”-“常规”-“服务名称”,记下服务名称(AA) 3,开始菜单栏输入“cmd”打开命令行窗口,输入sc delete AA,回车 4,刷新服务,可以看到该服务已被删除 参考博客: 1,如何删除Windows系统中不想要的服务_百度经验 https://jingyan.baidu.com/article/bad08e1e86528309c85121d7.html?qq-pf-to=pcqq.c2c

windows系统中清空硬盘所有数据操作

1.先进入windows系统中的终端(MD). 2.在终端输入命令:diskpart 3.在终端输入命令:list disk 4.在终端输入命令:select disk 数字 4.在终端输入命令:clean 原文地址:https://www.cnblogs.com/greamrod/p/12657751.html

Appium自动化测试系列2- 写一个Python测试脚本来测试一下YY语音

我们在<Appium自动化测试系列1-Appium环境的安装和配置>里已经搭好了Appium的基本环境,这一章,我们就来真刀真枪使用一下Appium, 看看Appium是如果来实现自动化测试的.在写测试脚本之前,我们先安装几个必要的Python三方库. 1 安装Python的setuptools库 (因为安装Python的Selenium库需要用到它) 1) 下载setuptools文件并解压 https://pypi.python.org/pypi/setuptools/12.0.4#dow

如何在Windows系统中配置Mysql群集(Mysql Cluster)

Mysql群集(Cluster)简介 MySQL群集需要有一组计算机,每台计算机的角色可能是不一样的.MySQL群集中有三种节点:管理节点.数据节点和SQL节点.群集中的某计算机可 能是某一种节点,也可能是两种或三种节点的集合.这三种节点只是在逻辑上的划分,所以它们不一定和物理计算机是一一对应的关系. 管理节点(也可以称管理服务器)主要负责管理数据节点和SQL节点,还有群集配置文件和群集日志文件.它监控其他节点的工作状态,能够启动.关闭或重启某 个节点.其他节点从管理节点检索配置数据,当数据节点

Windows系统中监控文件复制操作的几种方式

http://blog.sina.com.cn/s/blog_4596beaa0100lp4y.html 1. ICopyHook 作用: 监视文件夹和打印机移动,删除, 重命名, 复制操作. 可以得到源和目标文件名. 可以控制拒绝操作. 缺点: 不能对文件进行控制. 只对Shell文件操作有效, 对原生Api MoveFile, CopyFile之类的操作无效. 用法: 从ICopyHook派生一个COM对象, 重载CopyCallbackA和CopyCallbackW, 然后把COM注册到H