Focal Loss 非常简单有效，没有花里胡哨
🐧大模型系列篇章
💖 多模态大模型 🔎 GroundingDINO 论文总结
💖 端到端目标检测 🔎 从DETR 到 GroundingDINO 🔥
💖 多模态大模型 👉 CLIP论文总结
💖 多模态大模型 👉 EVA-CLIP
💚 生成模型 👉 从 VAE 到 Diffusion Model （上）
💚 生成模型 👉 从 VAE 到 Diffusion Model （下）🔥
💧 天气大模型
🐧深度学习基础知识篇
💖 深度学习基础知识干货 🔎 Batch Normalization 批量归一化
💖 深度学习基础知识干货 🔎 卷积模型的Memory, Params, Flop是如何计算的?
💖 深度学习基础知识干货 🔎 Cross-Entropy Loss 多分类损失函数
💖 深度学习基础知识干货 🔎 Videos 动作检测
💖 深度学习基础知识干货 🔎 目标检测(Object Detection): 你需要知道的一些概念
💖 深度学习基础知识干货 🔎 微调（fine-tuning）和泛化（generalization）
💖 深度学习基础知识干货 🔎 Group Convolution / Depthwise Convolution 轻量模型的必有的卷积
💖 深度学习基础知识干货 🔎 Gradient checkpointing
💖 深度学习基础知识干货 🔎 Softmax中温度（temperature）参数
💖 深度学习基础知识干货 🔎 什么是few-shot learning
| 欢迎订阅专栏，第一时间掌握最新科技 大模型系列篇章 专栏链接 深度学习基础知识 专栏链接 |
文章目录
- 一，背景
- 二，解决了什么问题
- class imbalance
- 设想一下：
- 为了解决这个问题：
- 解决 class imbalance
一，背景
Focal loss是最初由 何恺明 提出的，最初用于图像领域解决数据不平衡造成的模型性能问题。
focal loss的解释
focal loss 的源码
focal loss 的论文
二，解决了什么问题
解决one-stage目标检测的前后背景类别不平衡的的问题（前：帽子的框；后：除了帽子之外的框）比如（1：1000）
class imbalance
同样的我们也会遇见class imbalance的问题。通常的做法是引入一个[0, 1]的权重因子
α
\alpha
α，它平衡了正负样本，但并不会区分 简单/困难 样本。
所以该论文提出了一个降低简单样本的权重，专注于训练困难负样本的一个方法。
具体来说就是给交叉损失函数添加了一个控制因子, 其中其中
γ
>
0
\gamma > 0
γ>0
设想一下：
你的标签有两个（人，帽子）。图片里戴帽子的人不多，但是人这个标签很多，对于机器学习来说，样本多的就好学习对吧，与之对应的，帽子的样本少，相对就难学习一点，因为素材没给够嘛！
为了解决这个问题：
何恺明提出了简单有效的一个公式:
adding a weighting to cross-entropy loss.
- 其中
γ
>
0
\gamma > 0
γ>0 是可调节因子, 增大就加大惩罚。 - 这个
P
t
P_t
Pt啊 就是我们网络输出的 置信度。如果这个置信度足够高了，那么我就不用太学习这个部分了。如果我们的置信度低（帽子少嘛，不好学习）我就重点学习这个地方。
解决 class imbalance
- 正负样本：正样本框，负样本框（背景，iou小的）
- 简单/困难样本：这个类别的样本多/ 这个类别的样本少
CE只能控制正负样本的计算权重，并没有考虑简单/困难样本。
Focal Loss 的设计这两个情况都考虑进去了。
两种形式的Focal Loss：
