线性回归模型为什么要求随机误差的均值为0?

有没有详细点的线性回归的教材
一些基本的本质问题整不明白，有的书直接说“有理由让这个随机误差的均值为零”，数学基础有限，自己不能一下想明白类似于这样的问题

有关回应 · 2021-5-14 18:00:12

在线性模型
中，如果
是常向量，则使用不同常向量估计出来的各个
间只差一个常向量，并无本质区别；如果
包含待估计参数的一部分，则模型不是（locally）identifiable 的，即参数
到似然概率密度
的映射（在
的任何邻域上都）不是单射。
方便起见假设整个
都是待估计的参数。直观上，你只能估计到
，而不能进一步分别估计出
和
，从而会出现
但
；数学上，可以计算一下Fisher information matrix：

它不是满秩的，所以模型不是 identifiable 的。
Fisher information matrix 跟 identifiability 的关系大致可以这样理解：maximum likelihood 估计

等价于

，
其中
是数据的真实分布。另一方面，如果假设
，则

其中第一步是大数定律，第二步是 Taylor 展开。因此，大致上，如果
奇异，则
极值点不唯一，从而有
使得
。
这里有个更严格的证明：Identification in Parametric Models

有关回应 · 2021-5-14 18:00:13

可以把你认为存在的那个期望常数，放在常数项里面

有关回应 · 2021-5-14 18:00:14

主要原因有两个：1，为了让回归系数是无偏的；2，为了让总体回归方程可以被估计。1是2这个原因的一个附带好处。详细解释可以看我的文章
学无止境：线性回归模型为何要求误差项的均值为零

有关回应 · 2021-5-14 18:00:15

刚学计量，轻拍
1、计量分析中有一个因果关系，这个因果关系是我们进行计量的基础。我们容易知道变量X.Y之间，可能具有相关关系，但相关关系并不是因果关系。在计量中，因果关系是给定其他情况不变，这样才能被认为是因果关系。以一元线性回归为例。在线性回归的时候，我们考虑在变量X变化时，Y的变化，形成了一元线性的关系,Yi=β0+β1X+u。而u作为随机误差项，包含了一切的其他因素。因此，我们假定u的期望（均值）为0，以满足我们的假定。
2、期望为0是随机误差项的经典假设，这是进行之后分析的大的假设前提。你可以想象一下如果不这样要求，那么你的回归完全可能不在散点图之间，全部在散点图下面（把原来的回归向下平移），这样数值会很大，不好算，也不利于之后的预测。
3、之前的Yi=β0+β1X+u是总体回归模型。但我们之后需要的是总体回归方程，即E(Yi|Xi)=β0+β1X，如果u的期望不为0，就无法得到我们之后的总体回归方程啦。
PS:推荐伍德里奇的计量经济学导论人民大学出版社
以上

有关回应 · 2021-5-14 18:00:16

线性回归要求随机误差服从均值为0的正态分布，这个是前提也比较好理解。随机误差应该为正或为负的概率相等，期望自然应该为0。

线性回归模型 为什么要求随机误差的均值为0?

5 个回复

线性回归模型为什么要求随机误差的均值为0?