因果推断（causal inference）是回归（regression）问题的一种特例吗？

题主是因果推断小白，今天听了一个机器学习和因果推断的讲座，之前一直有的疑问又冒出来了：机器学习训练的模型已经无法写成简单的函数形式了，为什么因果推断还是以线性模型为主。因果推断可以表示成某种特殊的回归问题吗？
把treatment variable W 也当作一种binary feature，和其他的features X 放在一起做回归，定义某种用f(X, W)预测Y的损失函数，treatment effect可以用f(X, 1) - f(X, 0) 估计。这样做的问题在哪里呢？

我理解在observational study里需要处理数据（例如propensity score matching / re-weighting）使之尽可能满足unconfoundedness的假设，我的问题是：
1. 这种处理是否可以通过选取某种目标函数解上述回归问题自然导出？
2. 除此之外，因果推断和上述回归问题还有什么本质区别吗？

AuWc · 2018-10-15 23:20:35

emmmm如果你对因果比较感兴趣的话推荐你去看计量经济学，如果只是好奇就算了。

假设一个线性模型
Y=X‘beta+epsilon
如果X与epsilon关联那么E(beta)就不是unbiased estimator。
（吐槽一下手机端要怎么才能输入数学公式呀）

常用的方法是IV( Instrumental Vairable)
可以看这个问题
https://www.zhihu.com/question/29067965

还有DID( difference in difference)
https://www.zhihu.com/question/24322044

Regression discontinuity 比较简单，看这里：
https://www.zhihu.com/question/46752436

如果是Panel data 还可以做fixed effect什么的…

对于因果推断来讲比起单纯的统计方法，了解研究的社会背景和data更重要一些。

最后吐槽一下手机端答题游戏体验好差呀 (°ω°｀)

Mather King · 2018-10-15 23:20:36

因果推断里有一个分支，利用变量的独立关系推断变量之间的因果关系。而独立关系不需要变量在R上取值，可以是天气阴晴之类的抽象变量。此时既然没有数值，就没有回归的事了。对于这种变量的因果关系，描述的时候可以用基于信息论的各种量，比如熵或者互信息。
即使是对在R上取值的变量，目前因果推断的主流也不是简单的回归。只不过这些研究大概还没有渗透进机器学习，使得从机器学习入手的人误以为回归就是因果推断的全貌。

匿名用户 · 2018-10-15 23:20:37

提示: 作者被禁止或删除内容自动屏蔽

成不扰 · 2018-10-15 23:20:38

不太懂机器学习，但是正在学习社科方法论课程。尝试回答一下。

因果推断是要知道什么导致了什么，是因果关系而不是相关关系。相关不一定是因果，比如我的年龄和中国gdp相关，但是并不是我变老了所以经济成长了。机器学习得出来的公式如果人完全不能完全理解，就没有办法得到因果关系。或者说，现在的社会科学还远没有达到可以用很复杂的公式表现因果关系的阶段。

为了证明变量之间的因果关系，社科有很多方法，好一点的方法比如断点分析、匹配等等。最常用的是线性回归，但是这种方法也被学界批判很久了。

匿名用户 · 2018-10-15 23:20:39

提示: 作者被禁止或删除内容自动屏蔽

匿名用户 · 2018-10-15 23:20:40

提示: 作者被禁止或删除内容自动屏蔽

Cathy · 2018-10-15 23:20:41

在机器学习流行和复杂化以前，因果推断和回归分析就不是一回事。回归得到的是相关关系，不是因果关系。一般来讲，因果关系来自于theory。

汉语拼音专八优秀 · 2018-10-15 23:20:42

因果推断是目的，回归是方法，也就是还有不用回归也能实现因果推断的。。。

因果推断（causal inference）是回归（regression）问题的一种特例吗？

8 个回复