从新手运气到幸存者偏差
Esri 中国 卢萌
赌徒都相信“初学者总是有运气”的。几乎所有的赌徒都认为“虽然后来运气会慢慢变差,但是刚开始赌的时候总是很走运的”。
抛开职业赌场,庄家放长线吊大鱼的不算。就算在股市上也经常有这种案例,新人入行的时候,运气都特别的好。
是否真有新手运气这一回事呢?在讨论这个问题之前,我们先来看看统计学里面的一个专业名词“幸存者偏差(Survivorship bias)”,另外也有译为“生存者偏差”或“存活者偏差”,是一种常见的逻辑谬误(“谬误”而不是“偏差”),意思是只能看到经过某种筛选而产生的结果,而没有意识到筛选的过程,因此忽略了被筛选掉的关键信息。这东西的别名有很多,比如“沉默的数据”、“死人不会说话”等等。
他最早来源二战时候的一个故事。
第二次世界大战时候,美英联军对德国展开战略大轰炸,因为德军的防空火力空前强大,所以盟军的飞机损失惨重。空军和飞行员都强烈要求增强战斗机的防护能力,最简单的方法就是在飞机上加装防弹装甲。
但是二战时候的飞机发动力马力有限,如果全部加装装甲,那么就会整个机体都超重,导致起飞困难和操作迟钝的问题。所以只能局部加装防弹装甲。
军方邀请了哥伦比亚大学的著名统计学家亚伯拉罕.沃德(Abraham Wald)教授,对德军防空火力击中的联军飞机进行分析。
沃德教授给飞机维修人员发放一张统计表格,让他们在表格上把飞机中弹的部位画出来。经过一段时间后,汇总成了两张表格,其中,机翼上的中弹点最多,而发动机和飞行员座舱基本上是空白,几乎一弹未中。
军方负责人看见这份统计报告之后,马上决定,把装甲安装在机翼上。但是沃德教授马上制止了军方的决定。
因为沃德教授认为,这份统计报告,是我方的维修人员,从飞回来的飞机上统计出来的结果。也就是说,虽然机翼中弹很多,但是中弹之后还能够顺利返航,恰恰说明机翼并非最需要防护的部分。而发动机和驾驶舱完全没有中弹的记录,是因为,只要这两个地方如果中弹,飞机几乎百分之百的坠毁了。所以,发动机和驾驶舱才是最需要防护的部分。
被击中了发动机和驾驶舱的飞机,都被击落了所以没有进入到被研究的样本中。它们都变成了“不会说话的死人”。
这种现象,就是统计学里面的幸存者偏差现象。当你收集的数据的前提若有错误的时候,再漂亮的统计算式或方法、再多的资料,也不能让后面的推论变得正确。
如此看来,前面我们所见的“新手幸运“说,就是一种幸存者偏差现象。
首先我们都知道,在赌场,或者在股市,赌徒都是处于劣势,赌场或者说庄家都是处于优势地位。那么首先去赌的话,如果赢了(走运),那么大部分这样新手赌徒,都认为自己受到了命运的垂青,而会继续赌下去。
输了的那些呢?他们可能会感到失望,然后停止赌博,因此,当赌徒的样本被统计的时候,这些离开了赌桌的失败者,就不会出现在样本中。
失败者可能会去看鸟、涂鸦、当海盗,或是从事其他的消遣活动。而继续赌博的人会记得自己曾经是走运的新手。放弃了赌博的人,从定义上将已经不是属于赌徒的行列了,所以统计的时候,凡是赌徒,都是属于幸运的新手的状态。
台大刘顺仁教授在著作《决胜》一书中, 对“幸存者偏差”举例说明,是最生动贴切又清楚的一个。
他讲了一个这样一个骗钱的例子(这已经进化到E-mail版)。
1月2日你接到一封匿名信,这封信向你表示,这个月市场会上涨,结果是市场果然上涨,但你不以为意,因为大家都知道有元月效应这回事(历年来一月间股价涨多跌少)。
到了2月1日,你又接到另一封信,向你表示,市场将下跌。这一次,又给那封信说中了。
3月1日再接到一封信,情形一样。这样的话你对那位匿名人士的先见之明很感兴趣,然后对方邀你投资某个海外基金。
于是你把全部的储蓄拿出来投资, 两个月以后,那些钱有如肉包子打狗,一去不回。你伏在邻居的肩膀上嚎啕大哭,他告诉你,他也接过两封这种神秘信,但寄到第二封就停了。他说,第一封信的预测正确,但第二封不正确。
这是怎么一回事?
那些骗子玩的把戏是,他们从电话簿找出一万个人名,寄出后市看涨的信给其中一半的人,后市看跌的信给另一半的人。
一个月后,将有五千人接到的信预测正确, 然后再针对这五千人如法炮制。
再一个月后,剩下二千五百人接到的信预测正确,如此直到名单上剩下五百人,其中会有两百人受骗上当,因此骗子只要花几千美元的邮资,便可赚进数百万美元。
这个就是“幸存者偏差”,只要信息不流通,那么“死人是不会说话的“,其他人就不知道这个骗子是有多么的(不)准。