绪论

这一篇主要是介绍一下模型的评测指标，与上几篇文章一样都会持续更新。

什么是评测指标？

评测指标是用来定量衡量模型的性能的，是作为各种方法比较的一个标准。
评测指标可以分为分类任务的评测指标和回归任务的评测指标
下面会详细介绍两种任务的评测指标。

分类任务评测指标

1、准确率/召回率/精确度/F1-score

在这之前我们要了解几个概念：

准确率（Accuracy）：
$$Accuracy=\frac{(TP+TN)}{(TP+FP+TN+FN)}=\frac{预测正确的样本数}{总的样本数}$$
精确度（Precision）（注意这里正反是相对的）：
$$Precision=\frac{TP}{TP+FP}=\frac{预测正确的正样本数}{预测为正的样本数}$$
或
$$Precision=\frac{TN}{FN+TN}=\frac{预测正确的负样本数}{预测为负的样本数}$$
本质上是一样的，只不过一般选择正样本（也就是你关注的样本）计算精确度。
召回率（Recall）（与精确度一样，只选择正样本计算召回率）：
$$Recall=\frac{TP}{TP+FN}=\frac{预测正确的正样本数}{真实标签为正的样本数}$$
即正样本有多少被召回。
F1-score：
$$F1score=\frac{2\ast Precision\ast Recall}{Precision+Recall}$$

2、Precision/Recall（P-R）曲线

Precision/Recall曲线也叫做P-R曲线，Precision与Recall是一对矛盾的变量。

从图中可以看出（上图中查全率即为召回率，查准率即为精确度）：
1、召回率增加，精度下降；

下面以我的角度解释一下为什么查全率与查准率的关系成反比。
通俗一点就是
重查全率(recall): 宁可错杀一千，不可漏过一个。
重查准率(precision): 宁可漏过坏人，不可错杀无辜的好人。

首先我们假设正例样本数（T）和反例样本数（F）是确定的。
即：
$TP+FN=T(实际正样本的总个数)$
$FP+TN=F(实际负样本的总个数)$
假设我们要提高查全率
$$R=\frac{TP}{(TP+FN)}=\frac{TP}{T}$$
$T$的数量是不变的，要提高查全率我们就要提高$TP$即预测为正的个数，而
$$P=\frac{TP}{(TP+FP)}$$
$TP$的提高，必然会增加预测正例$TP+FP$，此过程中会引入新增的FP，
且分母$(TP+FP)$的增幅会大于分子$TP$的增幅。

2、曲线与坐标值面积越大，性能越好（能更大的提升精确度和召回率）；但是有时面积不好计较，那么就选择$y=x$与P-R曲线的交点也叫作平衡点（BEP）比较BEP，越大的学习器越优。
3、对正负样本不均衡问题较敏感。

3、ROC曲线

ROC曲线的横坐标是false positive rate（FPR）：
$$FPR=\frac{FP}{(FP+TN)}=\frac{将反例预测为正例的样本数}{标签为反的样本数}$$
纵坐标为true positive rate（TPR）
$$TPR=\frac{TP}{(TP+FN)}=\frac{将正例预测为正例的样本数}{标签为正的样本数}$$
下图来自阿里公开课

ROC曲线对正负样本不均衡问题不敏感。

那么该选择PR曲线还是ROC曲线呢？

这里引用了这篇博客P-R曲线及与ROC曲线区别
1、在很多实际问题中，正负样本数量往往很不均衡。比如，计算广告领域经常涉及转化率模型，正样本的数量往往是负样本数量的1/1000，甚至1/10000。若选择不同的测试集，P-R曲线的变化就会非常大，而ROC曲线则能够更加稳定地反映模型本身的好坏。所以，ROC曲线的适用场景更多，被广泛用于排序、推荐、广告等领域。
2、但需要注意的是，选择P-R曲线还是ROC曲线是因实际问题而异的，如果研究者希望更多地看到模型在特定数据集上的表现，P-R曲线则能够更直观地反映其性能。
3、ROC兼顾了正负样本。当正负样本比例失调时，比如正样本1个，负样本100个，则ROC曲线变化不大，此时用PR曲线更加能反映出分类器性能的好坏。

4、AUC面积

AUC面积其实就是ROC曲线的下半部分面积，与P-R图类似，通过比较AUC面积来比较学习器的优劣，面积大的更优。

回归任务评测指标

1、IOU（Intersection-over-Union）交并比

IOU多用于检测、分割任务中
$$IOU=\frac{A\cap B}{A\cup B}$$

2、AP（Average Precision）含计算实例

如图所示20个样本的id，预测概率，以及标签。

对上述标签进行概率排序

正样本的id为：
2、4、7、9、16、20一共六个
top-N就是取前N个，注意是将这N个都预测为正
比如top-5就是取前5个(上面表格中加粗的部分)
$$Precision=\frac{TP}{TP+FP}=\frac{预测正确的正样本数}{预测为正的样本数}=\frac{2}{5}$$
$$Recall=\frac{TP}{TP+FN}=\frac{预测正确的正样本数}{真实标签为正的样本数}=\frac{2}{6}$$
(1)下面是top-1到top-20的表格：

上面表格中大字号黑体的精确度是相同召回率的最大值。

(2)设置阈值统计recall大于等于每个阈值时最大的精确度
这里取11个阈值[0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1]
阈值为0时，recall全部大于0，从中取出最大精确度：
$$P=max\left\{\frac{1}{1},\frac{2}{2},\frac{3}{6},\frac{4}{7},\frac{5}{11},\frac{6}{16}\right\}=1$$
阈值为0.1时，recall全部大于等于0.1，从中选出最大精确度：
$$P=max\left\{\frac{1}{1},\frac{2}{2},\frac{3}{6},\frac{4}{7},\frac{5}{11},\frac{6}{16}\right\}=1$$
阈值为0.2时，recall大于等于0.2的值有$\frac{2}{6}$,$\frac{3}{6}$,$\frac{4}{6}$,$\frac{5}{6}$,$\frac{6}{6}$,
$$P=max\left\{\frac{2}{2},\frac{3}{6},\frac{4}{7},\frac{5}{11},\frac{6}{16}\right\}=1$$
阈值为0.3时recall大于等于0.3的值有$\frac{2}{6}$,$\frac{3}{6}$,$\frac{4}{6}$,$\frac{5}{6}$,$\frac{6}{6}$,
$$P=max\left\{\frac{2}{2},\frac{3}{6},\frac{4}{7},\frac{5}{11},\frac{6}{16}\right\}=1$$
阈值为0.4时recall大于等于0.4的值有$\frac{3}{6}$,$\frac{4}{6}$,$\frac{5}{6}$,$\frac{6}{6}$,
$$P=max\left\{\frac{3}{6},\frac{4}{7},\frac{5}{11},\frac{6}{16}\right\}=\frac{4}{7}$$
阈值为0.5时recall大于等于0.5的值有$\frac{3}{6}$,$\frac{4}{6}$,$\frac{5}{6}$,$\frac{6}{6}$,
$$P=max\left\{\frac{3}{6},\frac{4}{7},\frac{5}{11},\frac{6}{16}\right\}=\frac{4}{7}$$
阈值为0.6时recall大于等于0.6的值有$\frac{3}{6}$,$\frac{4}{6}$,$\frac{5}{6}$,$\frac{6}{6}$,
$$P=max\left\{\frac{4}{7},\frac{5}{11},\frac{6}{16}\right\}=\frac{4}{7}$$
阈值为0.7时recall大于等于0.7的值有$\frac{5}{6}$,$\frac{6}{6}$,
$$P=max\left\{\frac{5}{11},\frac{6}{16}\right\}=\frac{5}{11}$$
阈值为0.8时recall大于等于0.8的值有$\frac{5}{6}$,$\frac{6}{6}$,
$$P=max\left\{\frac{5}{11},\frac{6}{16}\right\}=\frac{5}{11}$$
阈值为0.9时recall大于等于0.9的值有$\frac{6}{6}$,
$$P=max\left\{\frac{6}{16}\right\}=\frac{6}{16}$$
阈值为1时recall大于等于1的值有$\frac{6}{6}$,
$$P=max\left\{\frac{6}{16}\right\}=\frac{6}{16}$$
(3)计算AP值(AP值就是上述11个精确度的平均值)：
$$AP=\frac{1+1+1+1+\frac{4}{7}+\frac{4}{7}+\frac{4}{7}+\frac{5}{11}+\frac{5}{11}+\frac{6}{16}+\frac{6}{16}}{11}$$
(4)mAP值就是各个类别的平均值。