线性回归与非线性回归：1.4标准方程法

标准方程法
代价函数：
$\small \dpi{120} J(w_0,w_1,...,w_n)=\frac{1}{2m}\sum ^{m}_{i=1}(h_w(x_i)-y_i))^2=\frac{1}{2m}(y-Xw)^T(y-Xw)$
找到最小值即导数为0的点。
矩阵运算：https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities
分子布局：分母为行向量或者分子为列向量
分母布局：分子为行向量或者分母为列向量

$\\\frac{\partial (y-Xw)^T(y-Xw)}{\partial w}=\frac{\partial (y^Ty-y^TXw-w^TX^Ty+w^TX^TXw)}{\partial w}=\frac{\partial y^Ty}{\partial w}-\frac{\partial y^TXw}{\partial w}-\frac{\partial w^TX^Ty}{\partial w}+\frac{\partial w^TX^TXw}{\partial w}=-2X^Ty+2X^TXw = 0$

$\Rightarrow X^TXw =X^Ty \Rightarrow(X^TX)^{-1}X^TXw=(X^TX)^{-1}X^Ty$

$\Rightarrow w=(X^TX)^{-1}X^Ty$

$\small \frac{\partial y^Ty}{\partial w}=0$
$\frac{\partial y^TXy}{\partial w}=X^Ty$
$\frac{\partial w^TX^Ty}{\partial w} =\frac{\partial (w^TX^Ty)^T}{\partial w} =\frac{\partial y^TXw}{\partial w} = X^Ty$

$w^TX^Ty$ 为标量所以与其转置 $(w^TX^Ty)^T$ 的结果相同
$\frac{\partial w^TX^TXw}{\partial w} =2X^TXw$

	梯度下降法	标准方程法
缺点	需要选择合适的学习率，需要迭代汗多个周期，只能得到最优解的近似值	需要计算 $(X^TX)^{-1}$ ,时间复杂度大约是 $O(n^3)$ , $n$ 是特征数量
优点	当特征值非常多的时候，也可以很好的工作	不需要学习率，不需要迭代，可以得到全局最优解