<div id="js_content">
<p style="text-align: center">点击下方<strong>卡片</strong>，关注“<strong>CVer</strong>”公众号</p>
<p style="text-align: center">AI/CV重磅干货，第一时间送达</p>
<blockquote>
<p><strong>作者：yll</strong> <strong>| 已授权转载（源：知乎）</strong></p>
<p><strong>https://zhuanlan.zhihu.com/p/364846540</strong></p>
</blockquote>
<p style="text-align: justify">本文主要介绍了我们被CVPR2021接受的文章：CondenseNet V2: Sparse Feature Reactivation for Deep Networks</p>
<p style="text-align: center"><img src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-cadc60eb781a27b982063ebb95cc1a36.png"></p>
<p style="text-align: left">论文：https://arxiv.org/abs/2104.04382</p>
<p style="text-align: left">代码（刚刚开源）：</p>
<p style="text-align: left"><strong>https://github.com/jianghaojun/CondenseNetV2</strong></p>
<p style="text-align: justify">（太长不看版）本文提出了一种基于密集连接的高效轻量级神经网络。针对 DenseNet 的特征复用冗余，CondenseNet 提出利用可学习分组卷积来裁剪掉冗余连接。然而，DenseNet 的和 CondenseNet 中特征一旦产生将不再发生任何更改，这就导致了部分特征的潜在价值被严重忽略。本文提出：与其直接删掉冗余，不妨给冗余特征一个“翻身”机会。因此我们提出一种可学习的稀疏特征重激活的方法，来有选择地更新冗余特征，从而增强特征的复用效率。CondenseNetV2 在 CondenseNet 的基础上引入了稀疏特征重激活，对冗余特征同时进行了裁剪和更新，有效提升了密集连接网络的特征复用效率，在图像分类和检测任务上取得的出色表现。</p>
<h2>1. Introduction （研究动机和简介）</h2>
<p style="text-align: justify">通过在深度神经网路中使用密集连接来实现特征复用（DenseNet）已被证实是实现高计算效率的有效途径。然而，近期的研究工作（CondenseNet）表明，DenseNet 中网络的连接密度过高，存在着较多的冗余连接。由于在 DenseNet 中，某一层的特征一旦产生后将不会再发生任何变化，其将会以产生的形式参与后续的所有计算。因此对于网络的深层而言，直接让浅层特征参与本层的新特征计算可能会引入计算冗余。为了解决这样的问题，CondenseNet 提出利用可学习分组卷积（Learned Group Convolution, LGC）来裁剪掉这些冗余连接，从而得到高效的轻量化密集连接网络。</p>
<p style="text-align: justify">然而我们认为，直接对冗余特征裁剪，倒不如给一些冗余特征一个“翻身”的机会。由于在密集连接结构中，特征产生之后就不会发生任何变化，这就导致了尽管一些浅层的特征可能在深层有着很大的潜力，经过微调之后就可以发挥很大的作用，然而他们仍然在网络深层被视为了冗余，因此经常被裁剪掉。我们的出发点是，我们可以让网络学习去选择一些有潜力的冗余特征，对这些冗余特征进行重激活，让他们更好地适应深层网络的特征学习，从而最大程度发挥网络的特征复用效率。由于我们仅对一部分特征实现了重激活，因此所提出方法被命名为稀疏特征重激活（Sparse Feature Reactivation, SFR）。</p>
<img src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-08a6c0389ec811f916dd9346bca028a7.png" width="1036">
<figcaption>
图1 特征复用（Feature reusing）和改进方法
</figcaption>
<p style="text-align: justify">图1进一步对 DenseNet，CondenseNet 和我们提出的方法在特征复用方面的操作进行了说明。注意到，尽管 CondenseNet 中提出的可学习分组卷积和我们提出的稀疏特征重激活方法从两个截然不同的角度去处理密集连接中的冗余（LGC 避免去使用冗余特征，而 SFR 更新冗余特征去增强他们的利用率），但是他们相互是没有冲突的。因此，我们在 CondenseNet 的基础上，引入 SFR 模块，来构建最终的 CondenseNetV2。CondenseNet 和 CondenseNetV2 的特征学习过程如下图所示。</p>
<p style="text-align: center">图2 CondenseNet 和 CondenseNetV2<br></p>
<p style="text-align: justify">在所提出 CondenseNetV2 中，密集连接网络的每层可以同时 1）有选择地从前层连接中挑选出最重要的特征实现特征复用；2）对前层的特征进行稀疏重激活以增加它们在深层网络的利用率。实验表明所提出方法有效提升了 CondenseNet 的整体性能。</p>
<h2>2. 稀疏特征重激活</h2>
<p style="text-align: justify">DenseNet 中的特征复用机制：我们将使用 <img src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-b53af5ae48f2ba0be256237797a0a812">层之前的所有特征， <img src="ht |
|
转播
