机器学习：模型评估和选择

2.1 经验误差与拟合

精度（accuracy）和错误率（error rate）：精度=1-错误率

训练误差（training error）或经验误差（empirical error）

泛化误差（generalization error）

过拟合（overfitting）和欠拟合（underfitting）

过拟合：小明脸上一个伤口，机器人为没上伤口才是小明，过分在意无关细节，导致该筛的没筛到

欠拟合：身高170就是小明，结果小明好几个

2.2 评估方法

2.2.1 留出法（hold-out）

常用做法是将大学2/3~4/5的样本用于训练，剩余样本用于训练

为同时保证训练集和测试集的准确性，所占比例都不能过大或者过小

2.2.2 交叉验证法（cross validation）

将数据集分为n份，n次选编号n的集合作为测试集，其余为训练集验证，求平均

常用的有“10次10折交叉验证”

特例 ：留一法（Leave-One-Out）  m个样品m个子集，则1个子集1个样品；相对精确，可是计算量可能会比较大

2.2.3 自助法（bootstrapping）

为了弥补前两种方法训练集均小于数据集的缺陷

基于自助取样（有放回取样）

2.3 性能度量

2.3.1 错误率和精度

2.3.2 查准率（precision）和查全率（recall）

P-R图，如果A曲线包住B曲线，则A好;如果有交叉，看平衡点（Break-Even point）大小

2.3.3  ROC和AUC