多重比较的问题

在统计学中，当同时考虑一系列的统计推断或者基于观察值选择的参数的子集时会发生多重比较的问题（Multiple comparisons problem）。

原因：当一个人把子集作为整体的估计时，错误的推断很可能发生，包括置信区间没有包含相应的总体参数或者是假设检验错误地拒绝了零假设。对此，我举出两个例子作为说明。

①假设我们想要去判断一个写作教学的新方法与传统方法的好坏。那么我们把学生分为两组，一组使用新方法（治疗组），一组使用传统方法（对照组）。我们可以根据学生们的语法、拼写、内容等来评估这两组的表现，但是随着评估参数的增多，由于随机因素，这两组会至少在一个参数上表现得不同，那么此时我们怎么判断这种不同时随机的表现还是使用方法所致的呢？

②经典的抛硬币的问题：一个均匀的硬币（即正反两面概率相等）抛10次至少有9次正面的概率是（10+1）*0.5^10 =0.0107, 这个概率低于0.05,所以我们一般可以推定一次抛硬币的实验中这种情况是不会发生的，反之，如果一次实验中发生了这种小概率的事件，可以宣称这个硬币是不均匀的。现在，假设我们有100个均匀的硬币，把它们同时做上诉的实验，不会发生一个硬币抛10次至少9次正面的概率是（1-0.0107）^100=0.34。由此，我们很可能错误地推断至少有一个硬币是不均匀的。所以单个硬币的评判标准对多个硬币是不适用的。

解决方法：为了解决上诉的问题，可以使用错误发现率（FDR:False Discovery Rate）、Bonferroni correction等方法。

注：通过以下网址归纳整理：https://en.wikipedia.org/wiki/Multiple_comparisons_problem