查准率（Precision），灵敏性（Sensitivity），特异性（Specificity），F1，PR曲线，ROC，AUC

先来了解一下TP、FP、FN、TN的概念，可以帮助后面理解

先说个结论：Recall = Sensitivity = TPR

分类器认为是正类并且确实是正类的部分占所有确实是正类的比例，recall是相对真实的情况而言的 Recall = TP / ( TP + FN ) = TP / All Real Positive 查全率也称为召回率，等价于灵敏性（Sensitivity）和真正率（True Positive Rate，TPR） 应用场景：需要尽可能地把所需的类别检测出来，而不在乎结果是否准确。

分类器认为是正类并且确实是正类的部分占所有分类器认为是正类的比例，precision是相对模型的预测结果而言的 Precision = TP / (TP + FP) = TP / All Real Negative 应用场景：需要尽可能地把所需的类别检测准确，而不在乎这些类别是否都被检测出来。

查全率和查准率的区别：

F1 score是对recall和precision取平均，但是这里不是取算数平均，而是取调和平均。因为调和平均值更接近较小值，这样查准率或查全率中哪个值较小，调和平均值就更接近这个值，这样的测量指标更严格。 应用场景：在precision和recall两者要求同样高的情况下，可以用F1来衡量。

注：查全率recall在医学上经常被称为真阳性率（True Positive Rate，TPR）。）

假阳性率（False Positive Rate，FPR）：在医学上又称误诊率，等于 1 - 特异性（Specificity）。

假阴性率（False Negative Rate，FNR）：在医学上又称漏诊率，等于 1 - 灵敏性（Sensitivity）。

在做疾病检测时，我们希望尽可能地把疾病检测出来，但同时也不想检测结果的准确率太低，因为这样会造成恐慌和不必要的医疗支出（偏向recall）。这时就要用到PR曲线。

应用场景：需要根据需求找到对应的precision和recall值。如果偏向precison，那就是在保证recall的情况下提升precision；如果偏向recall，那就是在保证precision的情况下提升recall。一般来说，提高二分类模型的分类阈值就能提高precision，降低分类阈值就能提高 recall，这时便可观察PR 曲线，根据自己的需要，找到最优的分类阈值（threshold）。

ROC曲线的x轴为FPR，y轴为TPR。AUC值是一个概率值，反映的是分类器对样本的排序能力，即从所有正例中随机选取一个样本A，再从所有负例中随机选取一个样本B，分类器将A判为正例的概率比将B判为正例的概率大的可能性。AUC越大，说明排序能力越好，即分类器将越多的正例排在负例之前。 应用场景：在二分类模型中正例和负例同等重要的时候，或者当测试数据中正负样本的分布随时间而变化时，需要比较模型的整体性能，适合用ROC曲线评价。

PR曲线和ROC曲线&AUC的区别：

PR曲线在正负样本比例比较悬殊时更能反映分类器的性能。当正负样本差距不大的情况下，ROC和PR的趋势是差不多的，但是当负样本很多的时候，两者就截然不同了，ROC效果依然看似很好，但是PR上反映效果一般。这就说明对于类别不平衡问题，ROC曲线通常会给出一个过于乐观的效果估计，此时还是用PR曲线更好。

ROC曲线不会随着类别分布的改变而改变。然而，这一特性在一定程度上也是其缺点。因此需要根据不用的场景进行选择：比如对于欺诈检测，每个月正例和负例的比例可能都不相同，这时候如果只想看一下分类器的整体性能是否稳定，则用ROC曲线比较合适，因为类别分布的改变可能使得PR曲线发生变化，这种时候难以进行模型性能的比较；反之，如果想测试不同的类别分布对分类器性能的影响，则用PR曲线比较合适。

总的来说，我们应该根据具体的应用场景，在相应的曲线上找到最优的点，得到相对应的precision，recall，f1 score等指标，然后去调整模型的分类阈值，从而得到一个符合具体应用的模型。

如何画PR曲线？

根据每个测试样本属于正样本的概率值从大到小排序，依次将这些概率值作为分类阈值，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。每次选取一个不同的threshold，我们就可以得到一组recall和precision，即PR曲线上的一点。取n组不同的分类阈值，就可以得到n个点，连接起来就成为一条曲线。threshold取值越多，PR曲线越平滑。

如何画ROC曲线？

根据每个测试样本属于正样本的概率值从大到小排序，依次将这些概率值作为分类阈值，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。每次选取一个不同的threshold，我们就可以得到一组FPR和TPR，即ROC曲线上的一点。取n组不同的分类阈值，就可以得到n个点，连接起来就成为一条曲线。threshold取值越多，ROC曲线越平滑。