模型评估指标之概率分布评估指标(二) | 您所在的位置:网站首页 › 概率密度曲线横纵坐标 › 模型评估指标之概率分布评估指标(二) |
文章目录
一. ROC曲线:二.提升图:三.洛伦兹图:四.K-S曲线:五.总结:六.其他模型评估指标
一. ROC曲线:
横轴是FPR(False Positive Rate),纵轴是TPR(True Positive Rate)。 由图可以看出: ROC 曲线由 A 点经过 B 点到达 C 点,表示在舍弃 0%的好用户的前提下,可以 100%地拒绝坏用户,即没有坏用户被准入图中虚线可以看出,在舍弃 50%的好用户的前提下,可以避免 50%的坏用户,此时错杀了一半的好用户,并且有一半的坏用户没有识别出来。ROC 曲线应该在虚线的左上部且越靠近 B 点时模型的表现越好 ROC 曲线的量化表示为 AUC AUC: ROC 曲线与坐标轴围成的面积,面积越大表示模型的性能越好。 由于 AUC 的取值在 0.5~1 之间,我们更习惯于一个取值范围在 0~1 之间的指标,这时候就有了归一化后的 AUC 表示方式就是基尼系数或基尼统计量 注意,这里的基尼系数和决策树的基尼系数是不同的,只是名称类似. 公式: 提升图的作用:提升图比较的是采用模型与不采用模型带来的改善,即采用模型后对坏样本识别能力的提升程度。 提升图的计算过程: 提升图衡量的是在用模型进行样本准入审核后对坏样本分布的改变,进而将坏样本集中在前几组中,通过合理设置通过率来降低坏账率。 举例说明: 以坏样本为正样本,假设样本总体为 10,000,实际违约率为7%,即实际违约的样本为 700 个。构建评分卡模型,给出预测正样本的概率输出。将概率降序排列(概率越大逾期的可能性越高),然后将概率等分为 10 组,分别计算每组的实际违约数、占总违约数的占比,累计占比. 如图:
提升图的绘制:采用模型判断得到的每组坏样本占比与随机判断每组的坏样本占比绘图得到提升图 注意:注意,组内样本数均为 1,000,是随机猜想状态下样本应该均匀地分布在不同的组内而得到的,实际样本数不会是完全均等的每组 1,000 个样本。
提升图的另外一种表现形式: 为了直观地比较有模型判断与随机判断在识别坏样本的提升程度上的差别,可以将采用模型判断得到的每组坏样本占比与随机判断每组的坏样本占比做比值,更加直观地看到性能的提升. 洛伦兹图绘制:采用模型判断得到的每组累计坏样本占比与随机判断每组的累计坏样本占比进行绘图,就得到了累计提升图也叫洛伦兹图。 不同点: 横坐标的表示,ROC 曲线中横坐标是 FPR=P(p≥cutoff|G)=FP/(FP+TN)代表的是对不逾期样本的误判率。而洛伦兹图的横坐标为分组数,因为同样对预测概率分组,所以分组形式隐含表示了每组的概率边界及通过率等信息总结:洛伦兹曲线与 ROC 曲线本质是相同的,只是横坐标表示的信息有所不同。 洛伦兹图横坐标可以表示通过率。 比如以 4 组的虚线位置为 cutoff,则 1 到 4 组作为拒绝的样本,将 5 到 10 组作为通过的样本,此时通过率为 60%,对应的概率边界为 0.6,对应的 cutoff=0.6,即模型预测概率大于等于 0.6 的样本都拒绝授信,只将概率小于 0.6 的样本作为准入样本。比较模型 1 和模型 2 的性能,在通过率为 60%的情况下,模型 1 可以识别出 89%的坏样本,而模型 2 只能识别出 79%的坏样本。对于模型 1 来说意味着只有 11%的漏报率,即将 11%的坏样本作为好样本给予授信. 简单点说就是模型以坏样本为正样本。所以横坐标为通过率 ,即在4为cutoff时通过率为60%,通过率大于等于60%的都是拒绝样本,小于60%的准入样本。 模型性能:洛伦兹曲线中可以知道,越接近左上坐标轴,模型的性能越好。 量化模型性能:用洛伦兹曲线与随机判断对角线围成的面积A 来量化模型的性能。 A 的面积等于 A+B 的和,此时可以完美地识别所有坏样本;如果 A 的面积为0,此时为随机判断方法。我们将可提升的面积与提升的极限做比值定义为基尼系数,因此,基尼系数的取值范围是[ 0 , 1 ]。基尼系数的计算公式可表示为: 令图中的矩形面积为 1,那么 A+B 的面积为 0.5。AUC =C+A,因此,G=2AUC-1。需要注意的是基尼系数和 AR(AccuracyRatio)是等价的 四.K-S曲线:K-S本质:K-S 曲线的本质就是坏样本的洛伦兹曲线和好样本的洛 伦兹曲线。(就是两条落轮兹曲线,一条好,一条坏。) KS 值,计算公式:KS=Max(TPR-FPR) KS值作用:KS 值反应了模型对好坏样本的区分能力,KS 值越大表示对好坏样本的区分能力越强。 K-S 曲线作用:不同的概率分组下或者理解为不同的 cutoff 下模型对逾期样本与不逾期样本的识别能力。 注意:KS 值表征的是模型对正负样本的区分能力,但ks值本身没有倾向性对正样本区分好一些与对负样本好一些,其KS 值可能是一样的。因此,在实际使用中不能单看 KS 这一单个指标,不能认为 KS 值很高,就断言模型可用。此时需要查看 Recall和 Percison 指标,衡量模型对正样本的区分能力的好坏。 五.总结: ROC 曲线与坐标轴围成的面积,面积越大表示模型的性能越好。提升图的作用是采用模型后对坏样本识别能力的提升程度。洛伦兹曲线中可以知道,越接近左上坐标轴,模型的性能越好。KS值反应了模型对好坏样本的区分能力,KS 值越大表示对好坏样本的区分能力越强。 六.其他模型评估指标模型的评估指标(一) |
CopyRight 2018-2019 实验室设备网 版权所有 |