【TPAMI2020】目标检测中的不平衡问题:综述论文，34页pdf

<div id="js_content">
<h2></h2>
关注上方“深度学习技术前沿”，选择“星标公众号”，
资源干货，第一时间送达！<img src="https://201907.oss-cn-shanghai.aliyuncs.com/cs/5606289-77e0239e29ef6b92b179a518fce194ec">
<img src="https://201907.oss-cn-shanghai.aliyuncs.com/cs/5606289-fe16b6c25689b2784ec98f84aa41a89e" width="100%">
<img src="https://201907.oss-cn-shanghai.aliyuncs.com/cs/5606289-c90461c12ad15e284f47af25ef33d6c2">
<blockquote>
 作者：ChenJoya
 知乎链接：https://zhuanlan.zhihu.com/p/82371629
 本文已由作者授权转载，未经允许，不得二次转载。
</blockquote>
本文介绍了一篇关于目标检测中不平衡的综述论文：Imbalance Problems in Object Detection: A Review (https://arxiv.org/abs/1909.00169, under review at TPAMI)，作者结合自己最近在这方面的 Tech Report: Is Sampling Heuristics Necessary in Training Object Detectors? (https://arxiv.org/abs/1909.04868) 进行一些阐述和思考，希望可以给大家以启发。
 
开源地址：
Imbalance Problems in Object Detection: A Review 
https://github.com/kemaloksuz/ObjectDetectionImbalance
作者总结了在目标检测领域关于不平衡的大量研究，从古老的 Bootstrapping 到现在的 Libra R-CNN，并且在不平衡的各个维度上列出了相关文献，大而全，值得大力关注。
 <img src="https://201907.oss-cn-shanghai.aliyuncs.com/cs/5606289-eed68e4ea7dfeb12c4df1988345c1359" width="1578">
Are Sampling Heuristics Necessary in Object Detectors? 
 
在 YOLOv3 (one-stage), RetinaNet (one-stage), Faster R-CNN (two-stage), Mask R-CNN (two-stage), FoveaBox (anchor-free), Cascade R-CNN (multi-stage) 上没有使用任何 hard/soft sampling (e.g., objectness, under-sampling, Focal Loss) 方法，但取得甚至更好的 COCO AP，可以尝试一下~ https://github.com/ChenJoya/sampling-free
 <img src="https://201907.oss-cn-shanghai.aliyuncs.com/cs/5606289-e4a1589847a67f3e5433cb0069b9eb16" width="1494">
 
<h1>介绍</h1>
 
在 Oksuz 等人投向 TPAMI 的这篇论文中，提炼了一个核心观点：目标检测中存在多种多样的不平衡，这些不平衡会影响最终的检测精度，而现有的许多研究可以归结为解决这些不平衡方法。他们将不平衡分为四类：
 
1.Class imbalance：类别不平衡，主要由样本数量上的差别引起。最典型的是 foreground-background imbalance，即训练过程中的正例数量远远小于负例数量引起的不平衡；
2.Scale imbalance：尺度不平衡，这种不平衡主要由目标的尺度引起，例如 COCO 中的小物体过多即是一种尺度不平衡；又如将物体分配至 feature pyramid 时的不平衡；
3.Spatial imbalance：空间不平衡，如不同样本对 regression 损失贡献的不平衡，IoU 上的不平衡，物体分布位置的不平衡；
4.Objective imbalance：多任务损失优化之间的不平衡，最常见存在于 classification and regression losses 之间。
值得一提的是，这篇综述很大程度上应该是受到了 Libra R-CNN 的启发。Libra R-CNN 发现了 sample level, feature level, and objective level 上的不平衡，而上述四种不平衡中，Spatial imbalance, Scale imbalance，Objective imbalance 似乎都是由其分别引申而来。
 
下面，我们先从相关研究最少的 Objective imbalance 入手，逐步分析研究工作较多的 Spatial imbalance，Scale imbalance，Class imbalance。
 <img src="https://201907.oss-cn-shanghai.aliyuncs.com/cs/5606289-4b34e9f90cd9b441b8f9681c61834c52" width="720">
<h1>1. Objective imbalance</h1>
 
一般来说，分类任务的损失要比回归任务的损失要大一些，这是因为回归只做 foreground example，而分类要做到所有的 example。其实调过 Faster R-CNN 的小伙伴应该知道，在 RoI-subnetwork 阶段， classification 大约是regression 的 2~4 倍，就如同下面这张图