机器学习中常见的性能度量（performance measure）

“性能度量（performance measure）”即衡量模型泛化能力的评价标准。

模型的“好坏”不仅取决于算法和数据，还决定于任务需求，而性能度量所反映的就是任务需求。

在测试任务中，给定样例集：$D=\{({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),\dots ,({\mathbf{x}}_{\mathbf{m}},y_m)\}$，其中$y_i$是示例${\mathbf{x}}_{\mathbf{i}}$的真实标记。通过对比学习器预测结果$f(x)$与真是标记$y$实现学习器$f$的性能度量。

回归任务中常见的性能度量

均方根误差（Root mean square error）

$$RMSE(D,f)=\sqrt{\frac{1}{m}\sum _{i=1}^m(f({\mathbf{x}}_{\mathbf{i}})-y_i{)}^2}$$

在实际应用中常用**均方误差（mean square error，简称MSE）**来代替RMSE。因为最小化MSE要比最小化RMSE更为简单，但两者效果相同。
$$MSE(D,f)=\frac{1}{m}\sum _{i=1}^m(f({\mathbf{x}}_{\mathbf{i}})-y_i{)}^2$$
虽然RMSE（或MSE）通常是回归任务中的首选性能度量,但是在某些情况下，如：当有很多离群区域（outlier districts）时，平均绝对误差可能更加适合。

平均绝对误差（Mean absolute error）

$$MAE(D,f)=\frac{1}{m}\sum _{i=1}^m|f({\mathbf{x}}_{\mathbf{i}})-y_i|$$
RMSE和MAE均 运用于测量预测向量和目标值向量之间的距离。而距离（或范数）的测度可以有多种：

• RMSE对应欧几里得距离（Euclidean distance），也称$l_2$范数，记作$||•|{|}_2$或$||•||$。
• MAE对应曼哈顿距离（Manhattan distance），也称$l_1$范数，记作$||•|{|}_1$。
• 一般地，包含n个元素的向量$v_k$的范数可以定义为$||\mathbf{v}|{|}_k=(|v_0{|}^k+|v_1{|}^k+\dots +|v_n{|}^k{)}^{\frac{1}{k}}$。$l_0$给出向量的基数，即元素的数量。$l_{\infty }$给出向量中最大的绝对值。
• **范数指数越高，越关注大的价值，忽视小的价值。**所以，RMSE要比MAE更加敏感。当异常值较少时，RMSE表现更为优异。
• 对于连续属性，可由概率密度函数进行代替。

分类任务中常见的性能度量

错误率与精度

错误率是分类错误的样本数占样本总数的比例。对样例集$D$，分类错误率定义为：
$$E(D,f)=\frac{1}{m}\sum _{i=1}^{m}I(f({\mathbf{x}}_1)\ne y_i)$$
其中，$I(•)$为指示函数，当$•$为真时取值为1，为假时取值为0。

精度是分类正确的样本数占样本总数的比例。精度定义为：
$$acc(D,f)=\frac{1}{m}\sum _{i=1}^{m}I(f({\mathbf{x}}_1)=y_i)=1-E(D,f)$$同样，对于连续属性，可有概率密度函数$p(•)$进行描述。

查准率、查全率与$F_1$

首先，以二分类为例，引入混淆矩阵（confusion matrix）的概念。在混淆矩阵中，矩阵的行表示真实类别，矩阵的列表示实际类别。按照真是类别与学习器预测类别的组合将样例划分为4种情形：真正例（$TP$）、假正例（$FP$）、真反例（$TN$）、假反例（$FN$）。

“查准率（precision）”又称为“准确率”，定义如下：
$$P=\frac{TP}{TP+FP}$$
“查全率（recall）“又称”召回率“，定义如下：
$$R=\frac{TP}{TP+FN}$$一般地，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。以查准率为纵轴查全率为横轴作图，得到“查准率-查全率曲线”，简称"P-R曲线"。

通常情况下，若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者。如果两个学习器的P-R曲线发生交叉，则很难断言两者孰优孰劣，只能在具体的查准率和查全率条件下进行比较。如果硬要将A和B两学习器比个优劣，一个比较合理地判据是比较P-R曲线下的面积，但这个值并不好计算。因此人们设计了一些综合考虑查准率、查全率的性能度量。平衡点（Break-Even Point，简称EBP）就是这样一个度量，也就是指“查准率=查全率”时的取值。但EBP过于简单，更常用的是$F_1$度量。

$F_1$度量定义如下：
$$F_1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{样例总数+TP-TN}$$
$F_1$度量的一般形式$F_{\beta }$度量——来表达查准率与查全率的不同偏好,其定义为:
$$F_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R}$$
其中$\beta >0$度量了查全率对查准率的相对重要性。$\beta =1$时退化为标准的$F_1$；当$\beta >1$时对查全率有更大影响；当β<1时对查准率有更大影响。

若在n个二分类器混淆矩阵上综合考虑查准率和查全率，可以直接现在各混淆矩阵上分别计算查准率和查全率，记为$(P_1,R_1),(P_2,R_2),\dots ,(P_n,R_n)$，在计算平均值，可得

宏查准率（macro-P）:
$$macroP=\frac{1}{n}\sum _{i=1}^n{P}_i$$
宏查全率（macro-R）：
$$macroR=\frac{1}{n}\sum _{i=1}^n{R}_i$$
宏$F_1$（macro-$F_1$)：
$$macro{F}_1=\frac{2\times macroP\times macroR}{macroP+macroR}$$
另一种方法为先将个混淆矩阵的对应元素进行平均，得到$TP、FP、TN、FN$的平均值，分别记为：$\overline{TP}、\overline{FP}、\overline{TN}、\overline{FN}$，根据这些平均值得

微查准率（micro-P）：
$$microP=\frac{\overline{TP}}{\overline{TP}+\overline{FP}}$$
微查全率（micro-R）：
$$microR=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}$$
微$F_1$（micro-$F_1$）：
$$micro{F}_1=\frac{2\times microP\times microR}{microP+microR}$$

ROC与AUC

很多学习器是为测试样本产生一个实值或概率预测，将这一预测值与一个分类阈值进行比较，若大于阈值则分为正类，否则为反类。事实上，可以根据这个实值或概率预测结果，将样本进行排序，“最可能”的正例放在前面，“最不可能”的正例放在后面。而分类过程就相当于在这个排序中以某个“截断点（cut point）”将样本分为两部分，前一部分为正例，后一部分为反例。

根据不同任务需求选择不同的截断点，若更重视“查准率”，则可选择排序中排序靠前的位置；若更重视”查全率“，则可选择靠后的位置进行截断。这也是”查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低“的原因之一。

综上，排序质量的好坏，体现了综合考虑学习器在不用任务下的“期望泛化性能“的好坏。ROC曲线则是从这一角度来评价学习器泛化性能。

ROC全称是**“受试者工作特征（Receiver Operating Characteristic）”曲线**，以“真正例率（True Positive Rate，简称TPR）”为纵轴，以“假正例率（False Positive Rate，简称FPR）”为横轴。
$$TPR=\frac{TP}{TP+FN}$$

$$EPR=\frac{FP}{TN+FP}$$

与P-R曲线相似，若一个学习器的ROC曲线被另一个完全包围，则可断言后者更优；如果出现交叉点，则难以判断孰优孰劣。如果一定要进行比较，则较为合理的判据是比较ROC曲线下的面积，即AUC（Area Under ROC Curve）。

假定ROC曲线由坐标$(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$的点按序链接而形成$(x_1=0,x_m=1)$，则AUC可估算为：
$$AUC=\frac{1}{2}\sum _{i=1}^{n-1}(x_{i+1}-x_i)(y_i+y_{i+1})$$
从形式上来看，AUC考虑地是样本预测的排序质量，与排序误差紧密联系。给定$m^{+}$个正例和$m^{-}$个反例，另$D^{+}$和$D^{-}$分别表示正、反例集合，则排序损失定义为
$$l_{rank}=\frac{1}{m^{+}{m}^{-}}\sum _{x^{+}\in D^{+}}\sum _{x^{-}\in D^{-}}\left(I\right(f(x^{+})<f(x^{-}))+\frac{1}{2}I(f(x^{+})=f(x^{-})\left)\right)$$
因此有
$$AUC=1-l_{rank}$$

代价敏感错误率与代价曲线

为衡量不同类型错误所导致的损失不同，可为错误赋予“非均等代价（unequal cost）”。

前面介绍的性能度量大都隐式假设了均等代价。而在非均等代价下，不再是简单地最小化错误次数，而是希望最小化“总体代价（total cost）。以二分类任务为例，令$D^{+}$与$D^{-}$分别代表样例集$D$的正例子集和反例子集，$cos{t}_{ij}$表示第$i$类样本预测为第$j$类样本的代价。

所以，“代价敏感（cost-sensitive）”错误率为
$$E(D,f,cost)=\frac{1}{m}\left(\sum _{x_i\in D^{+}}I\right(f(x_i)\ne y_i)\times cos{t}_{01}+\sum _{x^{+}\in D^{-}}I(f(x_i)\ne y_i)\times cos{t}_{10})$$
类似地，可基于分布定义的代价敏感错误率，以及一些其他性能度量。若令$cos{t}_{ij}$中的$i、j$取值不限于0、1，则可定义出多分类的代价敏感性能度量。

在非均等代价下，常用“代价曲线（cost curve）”反应学习器的期望总体价值。

代价曲线图的横轴取值为$[0,1]$的正例概率代价
$$P(+)cost=\frac{p\times cos{t}_{01}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}}$$
其中$p$为样例为正例的概率；

纵轴是取值为$[0,1]$的归一化代价
$$cos{t}_{norm}=\frac{FNR\times p\times cos{t}_{01}+FPR\times (1-p)\times cos{t}_{10}}{p\times cos{t}_{01}\times (1-p)\times cos{t}_{10}}$$
其中$FNR=1-TPR$是假反例率。

聚类任务中常见的性能度量

聚类任务的目标就是使聚类结果的“簇内相似度（intra-cluster similarity）”高且“簇间相似度（inter-cluster similarity）”低。

聚类的性能度量大致分为两类：

外部指标（external index）

将聚类结果与某个“参考模型（reference model）“进行比较，称为”外部指标“。

对数据集$D=\{{\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{m}}\}$通过聚类给出的簇划分为$C=\{C_1,C_2,...,C_k\}$，参考模型给出的簇划分为$C^{\ast }=\{C_1^{\ast },C_2^{\ast },...,C_s^{\ast }\}$。相应地，令$\lambda$与${\lambda }^{\ast }$分别表示与$C$和$C^{\ast }$对应的簇标记向量。将样本两两配对，定义
$$\begin{gathered} a=|SS|,SS=\{({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\}, \\ b=|SD|,SD=\{({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\}, \\ c=|DS|,DS=\{({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})|{\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\}, \\ d=|DD|,DD=\{({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})|{\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\}, \end{gathered}$$
可以推出$a+b+c+d=\frac{m(m-1)}{2}$成立。

基于以上各式推出常用的聚类度量的外部指标：

Jaccard系数（Jaccard Coefficient，简称JC）

$$JC=\frac{a}{a+b+c}$$

FM指数（Fowlkes and Mallows Index，简称FMI）

$$FMI=\sqrt{\frac{a}{a+b}•\frac{a}{a+c}}$$

Rand指数（Rand Index，简称RI）

$$RI=\frac{2(a+b)}{m(m-1)}$$

上述性能度量的结果取值均在$[0,1]$区间，值越大越好。

内部指标（internal index）

不利用任何参考模型直接考察聚类结果，称为“内部指标”。考虑通过聚类给出的簇划分为$C=\{C_1,C_2,...,C_k\}$，定义

簇$C$内样本间的平均距离$avg(C)$：
$$avg(C)=\frac{2}{|C|(|C|-1)}\sum _{1\le i<j\le |C|}dist({\mathbf{x}}_{\mathbf{i}},{\mathbf{y}}_{\mathbf{i}})$$
簇$C$内样本间的最远距离$diam(C)$：
$$diam(C)=ma{x}_{1\le i<j\le |C|}dist({\mathbf{x}}_{\mathbf{i}},{\mathbf{y}}_{\mathbf{i}})$$
簇$C_i$与簇$C_j$最近样本间的距离$d_{min}(C_i,C_j)$：
$$d_{min}(C_i,C_j)=mi{n}_{{\mathbf{x}}_i\in C_i,{\mathbf{x}}_j\in C_j}dist({\mathbf{x}}_{\mathbf{i}},{\mathbf{y}}_{\mathbf{i}})$$
簇$C_i$与簇$C_j$中心点的距离$d_{cen}(C_i,C_j)$：
$$d_{cen}(C_i,C_j)=dist({\mathbf{\mu }}_i,{\mathbf{\mu }}_j)$$
其中，$dist(•,•)$用于计算两个样本之间的距离；$\mathbf{\mu }$代表簇$C$的中心点$\mathbf{\mu }=\frac{1}{|C|}{\sum }_{1\le i\le |C|}{\mathbf{x}}_{\mathbf{i}}$。

基于以上各式推出常用的聚类度量的内部指标：

DB指数（Davies-Bouldin Index，简称DBI）

$$DBI=\frac{1}{k}\sum _{i=1}^k\underset{j\ne i}{\max }\left(\frac{avg(C_i)+avg(C_j)}{d_{cen}(C_i,C_j)}\right)$$

Dunn指数（Dunn Index，简称DI）

$$DI=\underset{1\le i\le k}{\min }\left\{\underset{j\ne i}{\min }\right(\frac{d_{min}(C_i,C_j)}{{\max }_{1\le l\le k}diam(C_l)}\left)\right\}$$

显然，$DBI$的值越小越好，而$DI$的值越大越好。