[Machine Learning] 交叉熵损失函数 v.s. 平方损失函数（CrossEntropy Loss v.s. Square Loss）

思考

我们会发现，在机器学习实战中，做分类问题的时候经常会使用一种损失函数（Loss Function）——交叉熵损失函数（CrossEntropy Loss）。但是，为什么在做分类问题时要用交叉熵损失函数而不用我们经常使用的平方损失函数呢？

这时候就应该想一下，损失函数需要做什么？怎样的损失函数才是最合适的？

一般而言，我们都希望损失函数能够做到，当我们预测的值跟目标值越远时，在更新参数的时候，应该减去一个更大的值，做到更快速的下降，并且不容易遇到陷入局部最优、鞍点以及平坦区域等问题。具体可看《[Machine Learning] 欠拟合 & 过拟合（Underfitting & Overfitting）》

那么，现在我们就来比较在分类问题中的两种代价函数。

CrossEntropy Loss v.s. Square Loss

针对二分类来说，其中：

$$y_i=\sigma (z_i)=sigmoid(z_i)=\frac{1}{1+e^{-z_i}}$$

其中，$z_i=\omega x_i+b$。

Sigmoid函数求导：

Square Loss：

$$J=\frac{1}{2m}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

其中，${\hat{y}}_i$代表实际值，$y_i$代表预测值。

为了方便我们只取一个样本，那么损失为：

$$J=\frac{(y_i-{\hat{y}}_i{)}^2}{2}$$

那么$\omega$，$b$的梯度为：

$$\frac{\partial J}{\partial \omega }=(y_i-{\hat{y}}_i)\cdot y_i^{\prime }=(y_i-{\hat{y}}_i)\cdot {\sigma }^{\prime }(\omega x_i+b)=(y_i-{\hat{y}}_i)\cdot {\sigma }^{\prime }(z)\cdot x$$

$$\frac{\partial J}{\partial b}=(y_i-{\hat{y}}_i)\cdot y_i^{\prime }=(y_i-{\hat{y}}_i)\cdot {\sigma }^{\prime }(\omega x_i+b)=(y_i-{\hat{y}}_i)\cdot {\sigma }^{\prime }(z)$$

CrossEntropy Loss：

$$J=\frac{1}{m}\sum _{i=1}^n-[y_{i}ln({\hat{y}}_i)+(1-y_i)ln(1-{\hat{y}}_i)]$$

其中，${\hat{y}}_i$代表实际值，$y_i$代表预测值。

为了方便我们只取一个样本，那么损失为：

$$J=-yln(\hat{y})-(1-y)ln(1-\hat{y})$$

计算$\omega$，$b$的梯度：

$$\frac{\partial J}{\partial b}=(\sigma (z)-y))$$

分析和结论

如图为sigmoid函数以及sigmoid函数的导数的图像。

由此可看出，

1. Square Loss在更新$\omega$、$b$的时候，$\omega$、$b$的梯度与激活函数的导数是成正比的，激活函数导数越大，$\omega$、$b$调整就越快，训练收敛就越快，但是Sigmoid函数在值非常高的时候，梯度是很小的，比较平缓。

2. CrossEntropy Loss在更新$\omega$、$b$的时候，$\omega$、$b$的梯度与激活函数没有关系，而是与$(\sigma (z)-\hat{y})$成正比，其中$(\sigma (z)-\hat{y})$表示预测值与实际值的差距，如果差距越大，那么$\omega$、$b$调整就越快，收敛就越快。

因此，在作分类问题（例如Logistics Regression）的时候，我们会比较常使用交叉熵损失函数作为损失函数。