新闻标签提取的评价方法

新闻标签提取的评价方法

一、  目标：

用于评价不同的标签提取算法的优劣，以及算法中参数选取的效果评价。

二、  困难：

标签提取效果的好坏具有强烈的主观性，对一条新闻提取标签的价好坏，通过机器来做的话，比较困难。

三、  解决方案：

选取一定数量的新闻集，经过标签提取得到标签集，通过比较标签集的分布，来分析标签提取算法在不同评价指标上的表现。具体评价指标有：

1. 覆盖率：

覆盖率 = 结果集标签的数目/系统标签集的数目 * 100%

1. 准确率：

每条新闻的结果标签若与原标签重合一个便认为正确。按照这样的方式计算准确率，同时可以调整重合个数。

同时，通过抽样检查单个新闻标签的符合程度，给出一个评价。