多分类/多标签的评价指标以及阈值调优

sklearn.metrics.precision_score(y_true, y_pred, labels=None, pos_label=1, average=’binary’, sample_weight=None) average参数定义了该指标的计算方法，二分类时average参数默认是binary，多分类时，可选参数有 micro： 整体准确率 macro： 平均的准确率，不考虑各种标签的权重 weighted： 带权重的准确率，考虑各种标签的权重 我理解weighted这种方式更加合理一些 https://zhuanlan.zhihu.com/p/59862986

计算召回率由相应的函数 sklearn.metrics.recall_score https://blog.csdn.net/pearl8899/article/details/109874210

针对每一种标签单独选择阈值，使得P+R最大 1)使用sklearn.metrics.precision_recall_curve得到PR曲线 2)利用argmax函数求最优解 下面代码的目标为max(precision+recall) *3)如果有一些限制条件，例如P>0.9，可以在得到PR曲线之后删掉一部分后再使用argmax函数 （不知道能否使用scipy，linego等专业工具解决该问题，或许没有必要） （如果数据过多可能需要使用spark进行加速）

import numpy as np from numpy.core.fromnumeric import argmax from sklearn.metrics import precision_recall_curve y_true = np.array([0, 0, 1, 1,0,0,1]) y_scores = np.array([0.3, 0.2, 0.65, 0.7, 0.4, 0.15, 0.8]) precision, recall, thresholds = precision_recall_curve(y_true, y_scores)

print(precision) print(recall) print(thresholds) target = precision + recall index = argmax(target) print(thresholds[index])

sklearn.metrics.precision_recall_curve的源码解析如下 https://zhuanlan.zhihu.com/p/404798546