奥卡姆剃刀原则（Occam‘s Razor）
有一句话是这样说的，"An explanation of the data should be mad as simple as possible,but no simpler"。
在机器学习中其意义就是，对数据最简单的解释也就是最好的解释（The simplest model that fits the data is also the most plausible）。
比如上面的图片，右边是不是比左边解释的更好呢？显然不是这样的。
如无必要，勿增实体
奥卡姆剃刀定律，即简单有效原则，说的是，切勿浪费较多东西去做，用较少的东西，同样可以做好的事情。
所以，相比复杂的假设，我们更倾向于选择简单的、参数少的假设；同时，我们还希望选择更加简单的模型，使得有效的假设的数量不是很多。
另一种解释是，假设有一个简单的假设H，如果它可以很好的区分一组数据，那么说明这组数据确实是存在某种规律性。
抽样偏差（Sampling Bias）
If the data is sampled in a biased way,learning will produce a similarily biased outcome.
这句话告诉我们，如果抽样的数据是有偏差的，那么学习的效果也是有偏差的，这种情形称作是抽样偏差。
在实际情况中，我们需要训练数据和测试数据来自同一分布。
为了避免这样的问题，我们可以做的是要了解测试环境，让训练环境或者说是训练数据和测试环境尽可能的接近。
数据窥探（Data Snooping）
你在使用数据任何过程都是间接的窥探了数据，所以你在下决策的时候，你要知道，这些数据可能已经被你头脑中的模型复杂度所污染。
有效避免这种情况的方法有：
- 做决定之前不要看数据
- 要时刻存有怀疑
转载请注明作者Jason Ding及其出处
Github主页(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)