线性回归中，残差的和为什么等于0？这个假设的依据是什么？

热心的小回应 · 2021-1-15 07:02:27

残差和为0不是一个假设，而是OLS定义下的一阶条件（first order condition)。当然还有一个条件是自变量中含有截距项！
证明如下：
OLS的目标函数为最小化残差平方和（SSR,sum of squared residuals），即

为此，我们对该式分别关于
、
、....
求导，并逐个使导数为0。当然要得到题主想要的结论，我们对beta1到betak都不关心，只考虑对beta0求导的结果。
为了方便，我们令

则根据链式法则，我们有

（式子1）
又有

，
则式子（1）可以改写，并使之等于0，

则，我们得到

即OLS线性回归中，通过定义，必然满足残差和为0的条件，而并不是通过什么“假设”得来的。

热心的小回应 · 2021-1-15 07:02:28

依据就是OLS估计的求解过程中满足的这个关系。注意单变量时候

对
求两个偏导后产生的正规方程组：

注意我们的OLS估计
是满足上面的方程组的，而第一个就是我们的残差和为0，第二个就说明
，从而进一步有
。
其实直接看多元下的正规方程
，想想这个内部其实和一元一样的，其实第一个约束就是

因此残差和为0是普通OLS估计的必然性质。
当然上面的过程也看到了用到了第一个正规方程约束，而这个约束是截距项带来的，自然没有截距项就没这个性质了。

热心的小回应 · 2021-1-15 07:02:29

因为一般线性模型用ols估计，要求残差和为0，不然残差和会并入截距项。

热心的小回应 · 2021-1-15 07:02:30

这个假设的依据在于存在截距项。使用矩阵求导可以比较简单地证明。

线性回归中，残差的和为什么等于0？这个假设的依据是什么？

4 个回复

浏览过的版块