最近目标检测新范式汇总SparseRCNN,OneNet,DeFCN等

<div id="js_content">
点上方蓝字计算机视觉联盟获取更多干货 
在右上方 ··· 设为星标 ★，与你不见不散
仅作学术分享，不代表本公众号立场，侵权联系删除 
转载于：作者丨林大佬@知乎
来源丨https://zhuanlan.zhihu.com/p/333957627
编辑丨极市平台
AI博士笔记系列推荐 
<a href="http://mp.weixin.qq.com/s?__biz=MzU2NTc5MjIwOA%3D%3D&chksm=fcb71194cbc0988259f32b0b7a77fe7830c477c9c9a4fcb00f2e366c97d776574c2bc949e993&idx=1&mid=2247486763&scene=21&sn=da878ccafba79932be8eeca955697477#wechat_redirect">周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接</a>
最近有许多新的目标检测范式出现，我想着这些论文或多或少有着很强的相同之处，比如他们都是后现代的目标检测方法，不仅仅要超越Anchor-Based的古老目标检测，还要革了Anchor-Free的命，从此目标检测朝着简单易懂真正E2E的方向迈进，于是乎有必要来做一个整理，把这些算法放到一篇文章里面来介绍，也当是个人阅读这些论文和代码的一个小总结吧，抛砖引玉，期待更多的后来之士有更加独到的见解。
近几年来，目标检测是发展的很快，去年很火的Anchor-Free的方法提出了一系列不依赖于Anchor的目标检测范式，比如CenterNet，它结构简单，输入输出通熟易懂，同时也保持着较高的准确率，再比如FCOS，也是不可多得的创新性目标检测思路，纵然这些算法都摒弃了古老的Anchor思维，狠狠的把前辈们按在沙滩上摩擦了一阵子，但长江后浪推前浪，一浪更比一浪强，今年新出的这波新范式里面，大家不仅仅要把Anchor给你去掉，连烦人的NMS也得给你革掉！其中最具代表性的就是这篇SparseRCNN了，人家不仅仅去掉了Anchor，还把2Stage里面的Proposal，以及many2one的assigment也去掉了，更厉害的是，由于缩小了这些建议框的集合，加上2stage的精修，它可以做到后处理不需要NMS直接得到目标框！数据胜于一切，SparseRCNN可以做到Resnet50 backbone 最高达45的mAP，这不可谓不强啊！而且速度还可以保持在一个较快的速度！
顺着这个思路下去，明年，是不是会有基于E2E，没有NMS的更多的目标检测、实力分割的算法出现呢？到时候又快又好的instance segmentation模型就不再是梦想了！
让我们拭目以待吧！现在要做的就是耐心的阅读完本篇论文，我会在末尾做一个展望和总结，干货总是在最后，当然，此时你可以把手指移到左下方，点个赞，完了再吐槽一句，做一个文明的吃瓜群众。
<h2>SparseRCNN</h2>
SparseRCNN这篇论文的motivation其实很简单，就是革掉2stage里面的Proposal和NMS，我估计作者一开始可能并没有想到效果这么好，但是去掉了海量的Proposal之后发现生成的框效果竟然可以直接用，结果就有了这么一个一石二鸟的高品质作品。不管怎么样吧，做到这个效果的难度还是很大的。
让我们来看看SparseRCNN到底做了什么事情。众所周知，在2 stage算法里，最核心的部分，其实就是RPN的设计，RegionProposalNetwork部分，决定了你的整个模型的performance，这里你需要生成尽可能囊括所有目标的候选框，才能让结果尽可能的好，而这就涉及到Anchor的设计，Proposal的产出等等，这其实和one stage的Proposal generator类似，只不过是不同的算法系列具体的算法不同而已，而SRCNN做的，其实就是重新评估了这个过程，他们发现，即使他们把RPN从几千个boxes缩减到N，N可能为100这么小的数，加之动态的学习，也可以把这些个box变成质量很高、几乎囊括所有目标的Proposal。
那么现在的问题就是: 如何去生成这些小的Proposal set？
作者提出直接通过一个 4d的矩阵去预测这些proposals，每个维度就是归一化之后的中心点和w，h的数值，说到这里，恕我直言，这其实就是借鉴了Anchor-Free里面的思想了，最直接的就是FCOS的思想了。
<img src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-f74bd9cd756eb2fd1fcf768e113f339c">
这部分作者称之为Learnable proposal. 其实我感觉就是

最近目标检测新范式汇总SparseRCNN,OneNet,DeFCN等

浏览过的版块