多分类loss、softmax loss与交叉熵的关系

0、引子：

多分类loss采用的是softmax loss，也可称之为softmax交叉熵loss，这个loss中的q就使用的是模型的softmax输出，它就是用来拟合真正的§编码长度的期望

交叉熵越低，这个策略就越好，最低的交叉熵也就是使用了真实分布所计算出来的信息熵，因为此时 ，交叉熵 = 信息熵。这也是为什么在机器学习中的分类算法中，我们总是最小化交叉熵，因为交叉熵越低，就证明由算法所产生的策略最接近最优策略，也间接证明我们算法所算出的非真实分布越接近真实分布。

参见：https://www.cnblogs.com/smartwhite/p/8601477.html

1、为什么在机器学习中的分类算法中，我们总是最小化交叉熵？

交叉熵，见：https://blog.csdn.net/u010212101/article/details/125040853
softmax如下：

2、softmax loss

3、max vs. softmax

4.weighted loss

参见：http://sofasofa.io/forum_main_post.php?postid=1002038

5.focal loss

https://zhuanlan.zhihu.com/p/113716961

r越大，容易分的loss越小

调参技巧：

其他：

https://www.cnblogs.com/ChrisInsistPy/p/9673608.html