假设有两个分类器A,B。A在1000个样本的集合上有75%的准确率；B在200个样本的集合上有85%的准确率。我们要怎样评价这两个分类器的效果？
这就是这里要讨论的分类器效果分析。
抛硬币的例子
硬币正面的概率为50%，那么做N次随机试验，也就是N次的伯努利试验。根据概率的知识，我们知道，正面硬币个数X满足B（0.5N，0.5*0.5*N）的伯努利分布。
再根据大数定理，假设N足够大，那么X满足N（0.5N，0,5*0,5*N）的正态分布。
准确率acc=X /N，我们可以得出acc的分布：
acc~N(0.5,0.5*0.5/N)
同样的，A分类器的真实准确率是p，那么对于每个测试样本，有p的概率被预测正确。也就是，N个测试样本的预测也同上面的抛硬币一样，是概率为p的N次伯努利实验。
于是有
acc~N(p,p(1-p)/N)
以上，我们以伯努利模型，得到了关于识别率的概率公式。
置信区间
置信区间是根据观察值，对于总体分布参数的一个估计。这里我们关于真实p，也就是分布中的均值做一个估计。
根据之前正态分布的均值和方差，我们得到如下的置信区间：
以上，我们可以得到真实准确率的一个估计区间，以及这个区间的可信度。
*个人理解的置信区间，基于假设分布，根据观察值在假设分布的某个区间的概率，可以反推假设分布中其他参数的概率。
继续推导出置信区间的公式：
小结论：同样的置信区间，置信度随着N的增加而增加。
比较方法
有了置信度，置信区间，还是不好比较。假设
A：75%+-1%
B：85%+-10%
同在置信度95%下
还是看不出有什么优劣。继续推导比较方法。
误差差值建模
两个分类器之间的区别，我们可以用d=e1-e2来衡量。
其中e表示分类误差，e1表示在数据集1上，e2为数据集2上。
我们可以认为e1,e2分别为独立的正态分布。
于是，他们之间的差值：
d=e1-e2
为两个独立正态分布之和，于是，d也满足正态分布，有：
我们就可以估计训练误差之差值的一个置信区间。
比如，我们可以估计两个分类器的d形如：
d=10%+-12.8%，在置信度95%之下
这里d包含0，也就是两个分类器差异不显著。
或者：
d=10%+-1%，在置信度95%之下
那么，两个分类器差异显著，e1>e2。
交叉验证性能比较
在同一个数据集上进行K-fold交叉验证时，每个分类器进行了K次。根据概率论知识，其准确率的均值之差d=mean1-mean2为K个正态分布的均值，满足自由度为k-1的t分布。我们用t分布来估计其差异。
我们有：
我们就能得到关于两个分类器K-fold交叉验证的差异估计。
小结
*在t分布中，我们的前提是同一个数据集上，而且d是同一阶段两个准确率之差。因为在不同训练集上训练的结果没有可比性。而K-fold中不同阶段为不同的训练样本集。故计算d时要两两对应。
*以上的所有估计，也都是基于相同的训练样本集合，才有意义。
*一般的实验中，我们测试的集合都能够相等，那么单一实验的估计就可以直接比较大小，没有太大意义。这时候，我们进行K-fold验证，可以得到更好的比较估计。不过具体操作中，基本直接使用均值相减的比较，方便快捷。个人觉得，除非是很严谨的实验设置，一般的K-fold取均值就可以得到较好的比较结果。