什么是损失函数在深度学习中, 损失函数是用来衡量模型参数的质量的函数, 衡量的方式是比较网络输出和真实输出的差异损失函数在不同的文献中名称是不一样的主要有以下几种命名方式多分类任务损失函数从概率角度理解我们的目的是最小化正确类别所对应的预测概率的对数的负值(损失值最小)如下图所示 案例: 演示 多分类任务的交叉熵损失函数. 损失函数介绍: 概述: 损失函数也叫成本函数, 目标函数, 代价函数, 误差函数, 就是用来衡量 模型好坏(模型拟合情况)的. 分类: 分类问题: 多分类交叉熵损失: CrossEntropyLoss 二分类交叉熵损失: BCELoss 回归问题: MAE: Mean Absolute Error, 平均绝对误差. MSE: Mean Squared Error, 均方误差. Smooth L1: 结合上述两个的特点做的升级, 优化. 多分类交叉熵损失: CrossEntropyLoss 设计思路: Loss - Σylog(S(f(x))) 简单记忆: x: 样本 f(x): 加权求和 S(f(x)): 处理后的概率 y: 样本x属于某一个类别的 真实概率. 大白话解释: 损失函数结果 最小化 正确类别所对应的 预测概率的对数的 负值(损失值最小)... 细节: CrossEntropyLoss Softmax() 损失计算, 后续如果用这个损失函数, 则: 输出层就不用额外调用 softmax()激活函数了. # 导包 import torch import torch.nn as nn # 1. 定义函数, 演示: 多分类交叉熵损失. def dm01(): # 1. 手动创建样本的真实值 - 就是上述公式中的 y y_true torch.tensor([[0, 1, 0], [1, 0, 0]], dtypetorch.float) #one-hot编码的张量 #y_true torch.tensor([1, 2]) #类别索引张量 # 2. 手动创建样本的预测值 - 就是上述公式中的 f(x) y_pred torch.tensor([[0.1, 0.8, 0.1], [0.7, 0.2, 0.1]], requires_gradTrue, dtypetorch.float) # 3. 创建多分类交叉熵损失函数. criterion nn.CrossEntropyLoss() # 平均损失, 来源于参数: reduction: str mean, # 4. 计算损失值. loss criterion(y_pred, y_true) print(f损失值: {loss}) # 2. 测试 if __name__ __main__: dm01()二分类任务损失函数在处理二分类任务时我们不再使用softmax激活函数而是使用sigmoid激活函数那损失函数也相应的进行调整使用二分类的交叉熵损失函数其中:1、y是样本x属于某一个类别的真实概率2、而y^是样本属于某一类别的预测概率3、L用来衡量真实值y与预测值y^之间差异性的损失结果。在pytorch中实现时使用nn.BCELoss() 如下所示因为公式中没有包含Sigmoid激活函数, 所以使用BCELoss的时候, 还需要手动指定 Sigmoid. 案例: 演示二分类任务的损失函数. 二分类任务的损失函数(BCELoss): 公式: Loss -ylog(预测值) - (1 - y)log(1 - 预测值) 细节: 因为公式中没有包含Sigmoid激活函数, 所以使用BCELoss的时候, 还需要手动指定 Sigmoid. # 导包 import torch import torch.nn as nn # 1. 定义函数, 演示: 二分类任务的损失函数. def dm01(): # 1. 设置真实值. y_true torch.tensor([0, 1, 0], dtypetorch.float) # 2. 设置预测值(概率) y_pred torch.tensor([0.6901, 0.5423, 0.2639]) # 3. 创建二分类交叉熵损失函数. criterion nn.BCELoss() # reduction: str mean - 均值 # 4. 计算损失值. loss criterion(y_pred, y_true) print(f损失值: {loss}) # 2. 测试 if __name__ __main__: dm01()回归任务损失函数-MAE损失函数Mean absolute loss(MAE)也被称为L1 Loss是以绝对误差作为距离。损失函数公式特点是1、由于L1 loss具有稀疏性为了惩罚较大的值因此常常将其作为 正则项添加到其他loss中作为约束。2、L1 loss的最大问题是梯度在零点不平滑导致会跳过极小值。回归任务损失函数-MSE损失函数Mean Squared Loss/ Quadratic Loss(MSE loss)也被称为L2 loss或欧氏距离机器学习中为什么曼哈顿距离用的少欧氏距离用的多因为欧式距离有平方如果你有异常值他会放大你的异常值它以误差的平方和的均值作为距离 损失函数公式:特点是1、L2 loss也常常作为正则项。2、当预测值与目标值相差很大时, 梯度容易爆炸。曲线如下图所示回归任务损失函数-Smooth L1损失函数Smooth L1说的是光滑之后的L1。损失函数公式:其中f(x)−y 为真实值和预测值的差值。从右图中可以看出该函数实际上就是一个分段函数。1、在[-1,1]之间实际上就是L2损失这样解决了L1的不光滑问题。2、在[-1,1]区间外实际上就是L1损失这样就解决了离群点梯度爆炸的问题。 案例: 演示 回归任务的损失函数介绍. 回归任务常用损失函数如下: MAE: Mean Absolute Error, 平均绝对误差. 公式: 误差绝对值之和 / 样本总数 类似于L1正则化, 权重可以降维0, 数据会变得稀疏. 弊端: 在0点不平滑, 可能错过最小值. MSE: Mean Squared Error, 均方误差. 公式: 误差平方之和 / 样本总数 弊端: 如果差值过大, 可能存在梯度爆炸的情况. Smooth L1: 就是基于MAE 和 MSE做的综合, 在 [-1, 1]是 L2(MSE), 其它段时L1. 这样即解决了L1不平滑的问题(0点不可导, 可能错过最小值) 又解决了L2(MSE)的 梯度爆炸的问题. # 导包 import torch import torch.nn as nn # 1. 定义函数, 演示: MAE 损失函数. def dm01(): # 1. 定义变量, 记录: 真实值. y_true torch.tensor([2.0, 2.0, 2.0], dtypetorch.float) # 2. 定义变量, 记录: 预测值. y_pred torch.tensor([1.0, 1.0, 1.9], requires_gradTrue) # 3. 创建MAE损失函数对象. criterion nn.L1Loss() # 4. 计算损失. loss criterion(y_pred, y_true) # 5. 输出损失. print(fMAE: {loss}) # 2. 定义函数, 演示: MSE 损失函数. def dm02(): # 1. 定义变量, 记录: 真实值. y_true torch.tensor([2.0, 2.0, 2.0], dtypetorch.float) # 2. 定义变量, 记录: 预测值. y_pred torch.tensor([1.0, 1.0, 1.9], requires_gradTrue) # 3. 创建MSE损失函数对象. criterion nn.MSELoss() # 4. 计算损失. loss criterion(y_pred, y_true) # 5. 输出损失. print(fMSE: {loss}) # 3. 定义函数, 演示: Smooth L1 损失函数. def dm03(): # 1. 定义变量, 记录: 真实值. y_true torch.tensor([2.0, 2.0, 2.0], dtypetorch.float) # 2. 定义变量, 记录: 预测值. y_pred torch.tensor([1.0, 1.0, 1.9], requires_gradTrue) # 3. 创建Smooth L1损失函数对象. criterion nn.SmoothL1Loss() # 4. 计算损失. loss criterion(y_pred, y_true) # 5. 输出损失. print(fSmooth L1: {loss}) # 4. 测试 if __name__ __main__: # dm01() # 0.699999988079071 # dm02() # 0.6700000166893005 dm03() # 0.33500000834465027