您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

如何从Python的混淆矩阵中获得精度,召回率和f度量

如何从Python的混淆矩阵中获得精度,召回率和f度量

让我们考虑MNIST数据分类(10个类)的情况,对于10,000个样本的测试集,我们得到以下混淆矩阵cm(Numpy数组):

array([[ 963,    0,    0,    1,    0,    2,   11,    1,    2,    0],
       [   0, 1119,    3,    2,    1,    0,    4,    1,    4,    1],
       [  12,    3,  972,    9,    6,    0,    6,    9,   13,    2],
       [   0,    0,    8,  975,    0,    2,    2,   10,   10,    3],
       [   0,    2,    3,    0,  953,    0,   11,    2,    3,    8],
       [   8,    1,    0,   21,    2,  818,   17,    2,   15,    8],
       [   9,    3,    1,    1,    4,    2,  938,    0,    0,    0],
       [   2,    7,   19,    2,    2,    0,    0,  975,    2,   19],
       [   8,    5,    4,    8,    6,    4,   14,   11,  906,    8],
       [  11,    7,    1,   12,   16,    1,    1,    6,    5,  949]])

为了获得精度和召回率( 每类 ),我们需要计算 每类 的TP,FP和FN。我们不需要TN,但是我们也会对其进行计算,因为它将有助于我们进行健全性检查。

真实肯定只是对角线元素:

# numpy should have already been imported as np
TP = np.diag(cm)
TP
# array([ 963, 1119,  972,  975,  953,  818,  938,  975,  906,  949])

误报是各列的总和减去对角线元素(即TP元素):

FP = np.sum(cm, axis=0) - TP
FP
# array([50, 28, 39, 56, 37, 11, 66, 42, 54, 49])

同样,False Negatives是相应行的总和,减去对角线(即TP)元素:

FN = np.sum(cm, axis=1) - TP
FN
# array([17, 16, 60, 35, 29, 74, 20, 53, 68, 60])

现在,“真否定论”有些棘手。让我们首先考虑一个真正的否定词,相对于class0来说是什么意思:它表示所有被正确识别为 _not0_的样本。因此,本质上我们应该做的是从混淆矩阵中删除相应的行和列,然后对所有其余元素求和:

num_classes = 10
TN = []
for i in range(num_classes):
    temp = np.delete(cm, i, 0)    # delete ith row
    temp = np.delete(temp, i, 1)  # delete ith column
    TN.append(sum(sum(temp)))
TN
# [8970, 8837, 8929, 8934, 8981, 9097, 8976, 8930, 8972, 8942]

让我们进行完整性检查:对于 每个类 ,TP,FP,FN和TN的总和必须等于测试集的大小(此处为10,000):让我们确认确实如此:

l = 10000
for i in range(num_classes):
    print(TP[i] + FP[i] + FN[i] + TN[i] == l)

结果是

True
True
True
True
True
True
True
True
True
True

计算了这些数量之后,现在可以很容易地获得每类的精度和召回率:

precision = TP/(TP+FP)
recall = TP/(TP+FN)

在这个例子中是

precision
# array([ 0.95064166,  0.97558849,  0.96142433,  0.9456838 ,  0.96262626,
#         0.986731  ,  0.93426295,  0.95870206,  0.94375   ,  0.9509018])

recall
# array([ 0.98265306,  0.98590308,  0.94186047,  0.96534653,  0.97046843,
#         0.91704036,  0.97912317,  0.94844358,  0.9301848 ,  0.94053518])

同样,我们可以计算相关的数量,例如特异性(记得灵敏度与召回是同一回事):

specificity = TN/(TN+FP)

本示例的结果:

specificity
# array([0.99445676, 0.99684151, 0.9956512 , 0.99377086, 0.99589709,
#        0.99879227, 0.99270073, 0.99531877, 0.99401728, 0.99455011])

现在,您应该实际上可以为任何大小的混淆矩阵计算这些数量

python 2022/1/1 18:27:35 有473人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶