目录
- 1 KS
- 2 GINI
- 3 知识拓展
- 4 思考
?
建模完成后的下一步，就是对模型性能进行评估，常用指标有：
- KS：关注的是一个点（好坏差异最大的点），要结合取到最大KS的评级点综合评估模型
- GINI：关注的是一个面，是一个积分的概念，对模型的评估实际上比KS更全面一些
?
1 KS
在看模型性能报告时，除了KS，还有一个非常重要的指标：在哪一个评级KS取到最大，这会给模型应用带来差异。因为同样的KS，有的模型在高分段区分效果特别好，有的模型在低分段区分效果特别好，但通常而言，银行更关注的是坏客户（低分段客户）。
综上，模型的应用和银行业务偏好有很大关联，所以在评估模型性能时，除了看KS指标，还要看好坏客户分布，是在什么时候取到KS最大值。
?
2 GINI
GINI对模型的评估实际上比KS更全面一些，当两个模型KS一样，可以比较两者的GINI，谁的GINI更大，则这个模型性能更好。
?
3 知识拓展
1. Perf中的20组的分组依据是什么？
其实相当于模型评分的基础上做了等频分箱。
2. 有时会遇到好坏客户比率不单调，造成原因是什么，如何处理这种问题？
在做34组的分布时，两头的客户量会比较少，这时随机因素影响比较大，就有可能导致34级的分布不单调。因为模型是基于数据驱动，完全有可能遇到这种情况，属于正常现象，只要保证在客户分布密集的区域是单调的就行。
?
4 思考
- 如果两个模型KS一样，是否就认为两个模型性能完全一样？
- 如何全面评估模型性能？
原文地址：https://www.cnblogs.com/1k-yang/p/12620110.html
时间： 2024-10-21 00:47:29