损失函数

含义：

用于衡量在训练集上模型的输出与真实输出的差异

标准：

损失函数越小，模型输出与真实输出越相似，模型效果越好

常用的两种损失函数

1. 均方误差损失函数（MSE）【Mean Square Error Loss】

2. 交叉熵损失函数（CS）【Cross Entropy Loss】

均方误差损失函数

计算公式

$$MSE=\frac{1}{m}\sum _{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2$$

含义解释

代码实现

'''
MSE Loss
'''
import torch 
import torch.nn as nn

torch.manual_seed(1)

# create data
x = torch.linspace(0,10,10).reshape(2,5)
w = torch.randn((5,2))
bias = torch.randn((2,1))*0.1
y = x@w
y_ = y+bias
print(y) 
print(y_)

# calulate the MSE loss between y and y_
MESLoss = torch.tensor([(y1-y2)**2 for y1,y2 in zip(y_.flatten(),y.flatten())]).mean()
print(MESLoss)

# MSELoss func
MSELoss_func = nn.MSELoss()
print(MSELoss_func(y_,y))

适用范围

• 回归问题，如线性回归

• 使用均方误差处理分类问题，公式
  $$MS{E}_{classification}=\frac{1}{m}\sum _{i=1}^m\sum _{j=1}^c({\hat{y}}_j^{(i)}-y_j^{(i)}{)}^2$$

  符号	含义
  m	样本数量
  ${\hat{y}}_j^{(i)}$	第i个样本的第j类上的模型预测输出的结果
  $y_j^{(i)}$	第i个样本的第j类上的真实输出的结果

交叉熵损失函数

计算公式

$$CE=-\frac{1}{m}\sum _{i=1}^m\sum _{j=1}^c{y}_j^{(i)}log({\hat{y}}_j^{(i)})$$

含义解释

交叉熵损失取决于模型对正确类别预测概率的对数值。

代码实现

'''
CE Loss
'''
import torch

def CrossEntropyLoss(input, target):
    res = -input.gather(dim=1, index=target.view(-1, 1))
    print(res.shape)
    res += torch.log(torch.exp(input).sum(dim=1).view(-1, 1))
    print(res.shape)
    res = res.mean()
    print(res.shape)
    return res

input = torch.tensor([
    [1, 2, 3],
    [4, 5, 6]
], dtype=torch.float32)

target = torch.tensor(
    [0, 1],
)

print(torch.nn.CrossEntropyLoss()(input, target))
print(CrossEntropyLoss(input, target))

适用范围

• 分类问题，又叫负对数似然损失