分类问题与回归问题的损失函数

分类问题损失函数

其中:

1.y 是样本 x 属于某一个类别的真实概率[用0,1表示]

2.而 f(x) 是样本属于某一类别的预测分数

3.S 是 softmax 激活函数,将属于某一类别的预测分数转换成概率

4.L 用来衡量真实值 y 和预测值 f(x) 之间差异性的损失结果

公式鼓励模型对正确类别给出高概率,对错误类别给出低概率。当预测完全正确时,损失为0;当预测错误时,损失会变大。

在处理二分类任务时，我们不再使用softmax激活函数，而是使用sigmoid激活函数，那损失函数也相应的进行调整，使用二分类的交叉熵损失函数：

其中:

它是交叉熵损失的改进版本 , 由何恺明等人在2017年提出，最初用于解决目标检测中的前景-背景类别不平衡问题。

FL(pt) = -α(1-pt)^γ * log(pt)

其中：

pt 是模型预测的概率
α 是平衡因子（用于平衡正负样本）
γ 是聚焦参数（用于调节简单样本的权重）
原理：
- 焦点损失通过降低容易分类的样本（高置信度预测）的权重，使模型更关注难以分类的样本。
- (1-pt)^γ项使得易分样本(pt接近1）的损失贡献较小，而难分样本的损失贡献较大。
优点：
- 有效解决类别不平衡问题，特别是在极度不平衡的情况下。
- 自动降低简单样本的权重，让模型更专注于难样本。
- 不需要进行硬性的样本挖掘。
应用：
- 目标检测
- 图像分类
- 其他存在类别不平衡的分类问题
参数调节：
- γ 通常设置为0到5之间。γ 越大，对易分样本的抑制越强。
- α 可以设置为类别频率的倒数，也可以通过交叉验证调整。