详解卷积神经网络的反向传播原理-cnn反向传播、池化层的反向传播

本文详细讲解dnn和cnn的反向传播流程。其实无论是dnn还是cnn、pool层，最重要的是，我们要弄清楚反向传播的四个公式，弄清楚他们，我们就明白整个网络是如何运作和优化的，4个核心公式分别是：
 1、输出层的误差方程 -这个是基础
 2、误差传递方程 
 3、可训练参数权重w的变化率（梯度）
 4、可训练参数偏置b的变化率（说到底其实网络就是在算误差，然后优化w和b，使得最后误差最小）
同时理解各种层的前向推理过程，那么整个网络的流动和机制就相当清晰了。
<h1>1、全连接层的推理与反向传播</h1>
 首先，我们需要了解全连接层的dnn的网络的推理和传播过程，接着这个基础，再进一步的分析cnn的流程。
<h2> 1、dnn的前向推理（主要是用来定义各个参数）</h2>
 前向传播过程（激活输出值）：
<img alt="" height="41" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-86ce577c0bfb463317b8ee65ddebc904.png" width="183">
 其中<img alt="" height="23" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-e20db0c63e3ad9c18c0ae928ed3bc0e7.png" width="132">为每一层激活的输入，则上式变为<img alt="" height="26" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-9e52b8980218d036ac56a4b41e233f63.png" width="83">。
<h2> 2、dnn的反向推理过程</h2>
 反向推理过程其实就是权重w和偏置b的变化，通过两个参数的变化影响损失函数C，因此需要计算每一个参数的<img alt="" height="30" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-d049d62cbdb51024b2dec3a9cf2d2289.png" width="25">和<img alt="" height="29" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-cc662011767f24892df4ece81e16e062.png" width="20"> 。此时引入误差的概念，<img alt="" height="31" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-79e567c17993081b08f6a412d482269d.png" width="21">表示第l层第j个单元的误差：
<img alt="" height="74" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-a7f6f69b54d55da887fd0176cc21d282.png" width="188">
 此时我们基于此推理出4个基本方程：
 1、输出层的误差方程
<img alt="" height="80" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-f39ab9670e5b4270530537ec18b76c6e.png" width="551">
 写成矩阵形式：
<img alt="" height="47" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-0d3156db2ba32dd2128f828573e756df.png" width="191">
 2、误差传递方程：
<img alt="" height="45" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-c04ebb38e7c2aa89dfa3f97444eb99cc.png" width="516">
 从bp2可以看出，第l+1层的误差<img alt="" height="21" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-bb49bef43e1163ae812ea22fe4b15cc9.png" width="33">计算第l层的误差<img alt="" height="26" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-94356deafdad3fd88c29afc13c7111e6.png" width="16">，结合bp1和bp2，便可以计算网络中的任意一层的误差，先计算<img alt="" height="26" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-94356deafdad3fd88c29afc13c7111e6.png" width="16">，再计算<img alt="" height="22" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-fc515f9576e1f35ddef2c90067979dcd.png" width="38">，<img alt="" height="26" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-844909108fab70f9f43926973f15a21a.png" width="45">。。。指导输入层。
 附上证明过程（思路简单，就是麻烦）：
<img alt="" height="78" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-d37d1ad4eb8f1490511a1bddccad22ab.png" width="385">
 此时<img alt="" height="37" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-79bd5702dc72db913202eae55cf8d61e.png" width="374">，所以可以得到<img alt="" height="51" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-ecd00a377fd601d66137046804c88424.png" width="143">，代入上述方程，因此可以得到bp2（写成点乘的方式就是bp2的表达式）：
<img alt="" height="45" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-b2fccbb02941d2de734ce3a9bfdffd32.png" width="189">
 3、代价函数对偏置的改变率
<img alt="" height="72" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-8586a4e07408322cd3ed5aafa89bff1d.png" width="519">
 由于<img alt="" height="34" src="https://beijingoptbbs.oss-c

详解卷积神经网络的反向传播原理-cnn反向传播、池化层的反向传播

浏览过的版块