lecture 11：内生性与工具变量法

现在人们说某个模型有内生性问题（endogeneity issue），是指模型中的一个或多个解释变量与误差项存在相关关系。

显然，这个解释和内生性这个名字有点不搭。其实内生性问题字面含义是指模型中的解释变量有内生性（endogeneity）。

在一个模型中，有些变量的值是在模型内部决定的，是内生的（endogenous）；有些变量的值是被模型外界决定的，是外生的（exogenous）。在一般模型中，被解释变量应该是内生的，解释变量应该是外生的，解释变量的取值是不能被我们的模型所决定的。内生性问题字面意思指的是解释变量不是完全外生了，有了内生性了。

此种内生性问题的一个常见症状就是解释变量和误差项存在相关关系。但不知从什么时候起，人们开始把一切“解释变量和误差项存在相关关系”的情况都叫做内生性问题了，也不管它是什么原因导致的。（关于这一点，可以参考Dougherty《introduction to econometrics》第十章和Wooldridge《Introductory Econometrics》第三章）

所以就这么叫吧，没什么好纠结的了。

内生性会破坏参数估计的“一致性”。

参数估计的“一致性”就是指当样本量很大时，用样本估计出的参数会无限趋近于总体的真实参数。当我们用样本估计出的参数没有了一致性，那它也就没什么参考价值了。

主要有以下几种，当然也不完全，我用简单的单方程线性模型举例：

1）测量误差（measurement error）

测量误差指的是模型使用的解释变量的数值和真实数据有误差。

2）选择偏差

3）遗漏解释变量（explanatory variable omitted）

现实问题总是复杂的，一般情况下，谁也没办法找到所有能影响被解释变量的变量，遗漏解释变量几乎是不可避免的。

4）互为因果（simultaneity）

被解释变量能够反过来影响解释变量的情况被称为互为因果，有时也被称为反向因果（reverse causality）。

4. 内生性问题的解决方法

内生性的解决方法有很多，IV、Heckman两步法、matching类、DID…从IV到2SLS， 到GMM，到系统GMM，应用范围越来越宽。但我有一个忠诚的建议，就是在选择方法之前梳理一下自己的处理逻辑，弄清楚到底内生性问题是由什么引起的。计量经济学的迷人（或者说迷我）之处就在于故事的完整性、逻辑的严密性，如果机械地套用方法，文章就失去了灵魂。

内生性的解决方法：

1 工具变量法 2 自然实验法 3 处理效应模型 4 Heckman 模型 5 引入固定效应 6 广义矩估计 7 断点回归 8 倾向得分匹配模型

更新

对文章的一些修正及补充。如果确定有内生性问题，打算用IV法。一般来说，经济学top期刊对IV要求较高，要完全外生的IV。2020年Economic Journal一篇研究古代科举对现代人力资本影响的文章用一个地区到最近的竹林和松林分布地带的河流距离作为科举考试制度的成功程度。更经典的还有Acemoglu 2001的例子。这是完全外生的，很难想到。对于一些管理学文章，非完全外生的IV也是可行的，例如对于企业层面的研究，用滞后项，行业均值，行业除自身外的均值作为IV都是常用的办法。如果IV的个数与内生解释变量个数一致，则需要从理论上说明该IV的外生性和相关性，其中相关性可以通过2SLS第一阶段的F值或者相关系数做个大概判断。如果IV个数大于内生解释变量个数，则要用Hansen J test检验其外生性。

对于控制变量是否需要外生，控制变量可以内生。

总之，在同方差或者恰好识别情况下，2SLS与GMM等价，没有必要使用GMM。但是同方差很少见，多数都是异方差。文章里所说的2SLS指的是GMM，不过因为我个人把用于解决内生性的GMM叫做2SLS，把sys-GMM和diff-GMM叫做GMM。所以在异方差时，我说的2SLS指的是GMM。2SLS和GMM的命令高度相似。如果恰好识别，就用2SLS。

工具变量和2SLS之间的关系： 其实两者的本质都是一样的，IV可以视为2SLS的一个特例：当内生变量个数与工具变量个数相等时，称之为IV法；而当工具变量个数大于内生变量个数时，称为2SLS。

参考文献： IV2SLS-python使用

内生性问题及其产生原因

内生性问题：起因，类型和解决办法

工具变量相关性与外生性

08 - Instrumental Variables

为什么学者都逮着“内生性问题”不放？

作为一个学术后辈，我个人认为学术交流和研究具有复杂性和开放性，没有一个学术问题探讨是自我封闭的，尤其是社会科学中因果关系的分析，需要不断的努力探索和发展。

大家都知道，社会科学领域研究中的“因果关系”分析，在实证研究范畴中经常会遇到所谓的“内生性问题”。众所周知，内生性问题的产生，是有多重因素影响引起的，从而产生了不同类型的处理方案，比如工具变量法、Heckman二阶段法、安慰剂分析法、倾向得分匹配法等一系列五花八门的分析方法，而且这类内生性问题处理方法也在进一步完善和发展中，这也是为什么近些年来又有很多统计方法不断出现，如DID方法、断点回归分析法等。当然，这些方法的使用都要各自安好应用环境和条件，需要区别对待和运用。

其中，工具变量法是最为重要的一种内生性处理方法，也是大家常用且易懂的方法。但是，在运用该方法的时候，我们经常会遇到一个非常重要的问题：如何去寻找一个合适且有效的工具变量呢？的确，这是个学术难题，它难处不仅仅在于我们个人能力的有限性，而且还在于客观世界的复杂性带来的学术偏好，以致影响学术审稿的客观性。

众所周知的是，在社会科学领域，进行实证研究难以避开所考察因素之间的双向因果，即内生性问题。对此，在实际研究操作过程中，工具变量法（instrumental variable method）依然是解决内生性问题的最为有效方法之一，而且相比较而言，对基于调查数据的定量分析，工具变量方法具有独特优势，已构成解决内生性问题的常见方法（陈强，2013；陈云松，2012； Krueger，1991）。但是，如何寻找可靠合适的工具变量，增加了解决内生性问题的难度。

从因果关系的分析来看，社会科学中因果关系的分析经常被因果关系中的“反向因果”所困扰，这是为什么呢？因为社会科学中很多社会经济现象的发生都是多重因素交织在一起的影响结果，以我们目前的个人主观臆断和能力，显然是我们无法剥离谁是因、谁是果？或许，这也是为什么很多学术同仁在中国知网搜索文献时，经常会遇到似“鸳鸯”类的文献，如：一篇文章主题是“A对B的影响研究”，一篇文章主题是“B对A的影响研究”。那么，我们就产生一种疑虑：到底是谁影响谁呢？相信这类奇怪的选题，你也遇到过不少好！

也正因为有这种风气或计量潮流的影响，现在学界有关工具变量的探讨，尤其是在学术论文审稿中或者学术会议中，很多审稿人或点评人似乎存在明显的偏好性和误导性，喜欢“乱点谱”，逮着“内生性问题”不放，比如：1、一提意见就指点他人文章因果关系中的内生性问题。2、随意批评别人工具变量的合理性但又不提啥建设性意见。3、过于重视因果关系中内生性问题，由此拒稿。4、追求吸引眼球的工具变量。……

需要说明的是，在学术规范上，本人是不反对去重视实证分析中的内生性问题，反而为了应对审稿人的要求，每次做了不少内生性问题的处理方案。但是，在这个内生性问题的讨论方面，每个学术人都应该有个节制的程度，针对内生性问题分析的问题上，我们应该做到“有理有据、合情合理”，而不是随意就来“内生性问题”，我们主要从以下几个方面去把关内生性问题：内生性问题你处理重视与否、计量方法的准确性、工具变量度量的合理性、工具变量的外生性，以及内生性问题理论分析阐述等方面。

实际上，由于经济活动的影响因素繁多复杂，以及经济数据的噪音影响，去寻找一个完全独立于因变量、且仅对自变量产生影响的外生变量是一项艰巨的任务，找到好的工具变量是非常之艰难（陈云松，2012），但康奈尔大学知名计量社会学家Morgan（2002）认为，由于社会科学问题的影响因素较为复杂，只要能和其他方法进行比较和相互补充，就可以更大胆、更冒险地发现和使用工具变量，哪怕工具变量具有明显瑕疵的外生性或无法完全消除质疑，也是值得提倡的。

为此，我们尽心去努力的是：根据所考察的主题来为寻找合适的工具变量把关，不仅从理论分析上认为所选取的工具变量的适宜性，而且还应通过统计分析来检验工具变量的外生性（即弱工具变量检验），以尽可能地寻找一个恰当的工具变量，运用工具变量法来减轻内生性问题对结论所产生的影响偏误。

所以，在学术探讨上，大家要保持一种开放的思维来分析学术问题，内生性问题是一个极为复杂的统计问题和社会现象，更需要我们的深思熟虑去看待问题的解决方案和态度。而且，内生性问题的解决，也并不会因为你寻找了一个工具变量、进行了一个内生性处理命令，就可以得到很好或者完全解决的。

当然，也许你认为我的观点不对，但你想想：你认为你文章的内生性问题，真的处理好了吗？你找的工具变量真的完全“外生”吗？不好意思，也许主效应他们两者之间根本没有什么关系……

举例：电子资料在群里。 https://economics.mit.edu/faculty/acemoglu/ Daron Acemoglu https://www.sohu.com/a/159507737_728084 https://blog.csdn.net/weixin_27787297/article/details/113965735 Sargent数量经济：回归分析与Python 二阶段最小二乘

作为示例，我们会重复Acemoglu,Johnson and Robinson(2001，AER)的经典文章的结果

该论文可以从这里下载(https://economics.mit.edu/files/4123)

(1)在这篇文章中，作者强调制度对经济发展对的影响

(2)主要的贡献是利用殖民死亡率作为制度差异的外生变化的来源

(3)这种变化决定制度是否引起了更多的经济增长，而不是别的方式