模型性能评估的常用指标
真阳性（True Positive，TP）：指被分类器正确分类的正例数据
真阴性（True Negative，TN）：指被分类器正确分类的负例数据
假阳性（False Positive，FP）：被错误地标记为正例数据的负例数据
假阴性（False Negative，FN）：被错误地标记为负例数据的正例数据
精确率=TP/(TP+FP)，TP+FP是模型预测的正样本总数，精确率衡量的是准确性；
召回率=TP/(TP+FN)，TP+FN是真实的正样本总数，召回率衡量的是覆盖率；
F1=(2*精确率*召回率)/(精确率+召回率)，F1值是精确率和召回率的综合评估
ROC曲线是常用的二分类场景的模型评估算法曲线
曲线的横轴是FP值，纵轴是TP值
曲线越接近于左上角就说明模型的效果越好
ROC更多是通过曲线的光滑程度以及曲线的斜率来获取模型内的信息
AUC值表示ROC曲线与横轴围起来的面积
AUC值越大表示模型的效果越好，AUC介于0到1之间，通常大于0.5；若大于0.9则证明模型性能不错
使用ｋ折交叉验证评估模型性能
1. holdout交叉验证
方法：将原始数据随机分为训练集、验证集两部分，利用训练集训练分类器,然后利用验证集验证分类器性能
优点：处理简单,只需随机把原始数据分为两组即可
缺点：
1）验证集分类准确率对原始数据的划分方法是敏感的，模型及参数缺乏鲁棒性。
2）该方法只用了部分数据进行模型的训练，无法充分利用完整样本的数据，易出现欠拟合的情况。
2. k-fold交叉验证
训练集被不重复地划分（均分）为k份，将每个子集分别做一次验证集，其余的K-1组子集作为训练集，由此得到K个模型，这K个模型的分类准确率的平均数作为此K-CV下分类器的性能指标。
优点
1）对数据划分方法的敏感性较低，同时模型性能的评估基于ｋ个子模型性能的均值，这使得模型性能的评估具有较小的偏差，准确性较高。
2）K-fold CV的计算成本适中
缺点： K的选取是一个Bias和Variance的trade-off。
代码示例：
from sklearn.model_selection import KFold
X = np.array([[1, 2], [3, 4], [1, 2], [3, 4]])
y = np.array([1, 2, 3, 4])
kf = KFold(n_splits=2)
train,test=kf.split(X)
print(‘train:‘,train)
print(‘test:‘,test)
out：
train: (array([2, 3]), array([0, 1]))
test: (array([0, 1]), array([2, 3]))
3. 留一交叉验证（sklearn.model_selection.LeaveOneOut，LOO）
留一交叉验证是K折交叉验证的一个特例，此时K等于数据集样本数N,即每次只有一个样本用于测试，其余的N-1个样本作为训练集,所以LOO-CV会得到N个模型,这N个模型最终的验证集的分类准确率的平均数作为此下LOO-CV分类器的性能指标.当数据集较小时，可用LOO-CV。
优点：
1）它不受数据划分方法的影响，因为每一个数据都单独的做过测试集
2）几乎用到了所有的数据，保证了模型的bias更小
缺点：计算成本高,因为需要建立的模型数量与原始数据样本数量相同
Stratified k-fold（分层k折交叉验证）
在分层k折交叉验证中，训练集被分成k份，每一份的类别比例尽可能相等。举例：若预测结果只有0、1两类，那么每一份训练集中的预测结果为0和1的样本数是尽可能相等的。
代码实现：
from sklearn.model_selection import StratifiedKFold
import numpy as np
X = np.array([[1, 2], [3, 4], [1, 2], [3, 4], [1, 2], [3, 4]])
y = np.array([0, 1, 0, 1, 0, 1])
skf = StratifiedKFold(n_splits=2,random_state=0)
train,test=skf.split(X, y)
print(‘train:‘,train)
print(‘test:‘,test)
输出
train: (array([4, 5]), array([0, 1, 2, 3]))
test: (array([0, 1, 2, 3]), array([4, 5]))
#索引4、5对应的预测值分别为0、1（0、1各占比50%）；
#索引0、1、2、3对应的预测值分别为0、1、0、1（0、1各占比50%）
from sklearn.model_selection import cross_val_score
cross_val_score(estimator, X, y=None, groups=None, scoring=None, cv=None, n_jobs=1, verbose=0, fit_params=None, pre_dispatch=‘2*n_jobs’)
cv : 整数、交叉验证生成器或迭代器;
取值为None时, 默认3折交叉验证；
取值为integer时, 若模型为分类器且y为二值或多值变量时则选择StratifiedKFold，在其他情况下为Kfold交叉验证。
代码示例：
>>> from sklearn import datasets, linear_model
>>> from sklearn.model_selection import cross_val_score
>>> diabetes = datasets.load_diabetes()
>>> X = diabetes.data[:150]
>>> y = diabetes.target[:150]
>>> lasso = linear_model.Lasso()
>>> print(cross_val_score(lasso, X, y))
[ 0.33150734 0.08022311 0.03531764]
数据集分割原则
交叉验证在，原始数据集分割为训练集与测试集，必须遵守两个要点：
训练集中样本数量必须够多，一般至少大于总样本数的 50%。
两组子集必须从完整集合中均匀取样。
其中第 2 点特别重要，均匀取样的目的是希望减少 训练集/测试集 与完整集合之间的偏差(bias)，但却也不易做到。一般的作法是随机取样，当样本数量足够时，便可达到均匀取样的效果。然而随机也正是此作法的盲点，也是经常是可以在数据上做手脚的地方。举例来说，当辨识率不理想时，便重新取样一组训练集 与测试集，直到测试集的辨识率满意为止，但严格来说便算是作弊。