精通数据科学笔记3 梯度下降法

对于模型的工程实现，核心问题是如何估计模型的参数，也就是如何求解最优化问题。这一章以tensorflow为基础工具，讨论最优化问题的核心算法——梯度下降法（其中梯度下降法是随机梯度下降法的特例）。这个方法容易得到损失函数的局部最小，解决方法是通过选取多个起始点，计算多个局部最小值的最小值，作为全局最小值。

1.梯度下降法

梯度下降法是模拟“小球沿斜坡滚动，最终会停在最低点”生成的算法。对于交叉熵损失函数L，假设选取的初始点为 $a_{0},b_{0}$ ,现在稍稍移动，得到 $a_{1},b_{1}$ ，由损失函数在 $a_{0},b_{0}$ 处的一阶泰勒展开可得，

$\Delta L=L(a_{1},b_{1})-L(a_{0},b_{0})\approx \frac{\partial L}{\partial a}(a_{1}-a_{0})+\frac{\partial L}{\partial b}(b_{1}-b_{0})$

令

$(\Delta a,\Delta b)=-\eta (\frac{\partial L}{\partial a},\frac{\partial L}{\partial b})$

其中， $\eta$ >0,则

$\Delta L\approx -\eta [(\frac{\partial L}{\partial a})^{2}+(\frac{\partial L}{\partial b})^{^{2}}]\leqslant 0$

这说明按照 $(\Delta a,\Delta b)=-\eta (\frac{\partial L}{\partial a},\frac{\partial L}{\partial b})$ 移动参数(本质上是按照梯度方向移动 $\eta$ 的距离)，损失函数的函数值是下降的，若一直重复这种移动，损失函数最终可以得到最小值，于是可以得到参数的迭代计算公式

$a_{k+1}=a_{k}-\eta \frac{\partial L}{\partial a}$

$b_{k+1}=b_{k}-\eta \frac{\partial L}{\partial b}$

其中，参数 $\eta$ 称为学习速率(learning rate),是训练模型时的一个重要的超参数，既不能过大，也不能太小， $(\frac{\partial L}{\partial a},\frac{\partial L}{\partial b})$ 是损失函数L的梯度，是函数值下降最快的方向。

2.随机梯度下降

核心思想：随机抽取若干个数据点，用他们的梯度平均值估计损失函数的梯度，新的参数迭代公式为

$a_{k+1}=a_{k}-\eta \sum_{j=1}^{m}\frac{\partial L_{Ij}}{\partial a}$

$b_{k+1}=b_{k}-\eta \sum_{j=1}^{m}\frac{\partial L_{Ij}}{\partial b}$

Tensorflow实现了梯度下降的算法

import tensorflow as tf


method=tf.train.GradientDescentOptimizer(learning_rate=learningRate)
optimizer=method.minimize(model["loss_function"])

精通数据科学笔记3 梯度下降法

浏览过的版块