比较.第119辑

济学家应该了解的机器学习方法伯克利加州大学的统计学家布雷曼在2001年的《统计科学》上发表了一篇颇有挑衅性的论文，谈及统计学中以模型为基础的方法和以算法为基础的方法的区别：利用统计建模从数据中得出结论，这里有两种文化：一种假设数据从给定的随机模型中产生；另一种则利用算法模型，把数据机制作为未知来考虑。布雷曼接着指出：过去，统计学界基本上只使用数据模型，这种偏执导致了无效的理论和受质疑的结论，并让统计学家们难以处理各种有趣的现实问题。而算法模型从理论和实践看都在统计学领域之外获得了飞速发展，既能用于复杂的大数据库，也能给较小的数据库提供不同于数据模型的更为精确和有效的分析工具。如果统计学界把利用数据解决问题作为自己的目标，那我们就应该超越对数据模型的单纯依赖，接受更加丰富多样的研究工具。布雷曼当时的总结已不再适用于如今的统计学界。这个领域已广泛接受了机器学习（ML）的革命方法，即他所说的算法模型文化，并且许多教科书把机器学习方法同更加传统的统计学方法放在一起讨论。虽然这些方法在经济学中的应用要慢一些，但如今也开始在实证分析中广泛出现，成为快速增加的方法论研究文献的主题之一。我们希望在这篇评论文章中指出，正如布雷曼对统计学界的评论那样，经济学家和计量经济学家也“应该超越对数据模型的单纯依赖，接受更加丰富多样的研究工具”。我们将介绍对实证研究者有用的某些工具，并认为这些工具应该成为计量经济学标准研究生课程的组成部分，因为我们赞同布雷曼的看法“把利用数据解决问题作为自己的目标”，同时我们认为计量经济学的本质就是在不确定情况下的决策，而且希望学生们能够同经常采用算法模型等方法的其他领域的学者有效开展交流。机器学习研究文献中发展出来的方法具有普遍适用价值，尤其擅长处理大数据的情形：我们在大量单元上观测到信息，或者每个单元上包含许多条信息，而且经常超出单一横截面数据的简单情形。对于此类情形，机器学习正在成为各类学科共同采用的标准研究方法。因此，经济学家的工具库在保留传统应用计量方法的优势之外，也需要相应地与时俱进。相比更广泛的统计学界，经济学领域对机器学习方法的采用为什么慢很多？很大一部分原因或许来自布雷曼所说的文化。经济学期刊看重的研究方法带有某些规范特性，是许多机器学习方法本身不能提供的，包括估计量和检验的大样本特征，如一致性、正态性和有效性等。与之相比，机器学习类文献的关注点往往是算法在特定场景下的实用特性，其规范结果属于另一种类型，例如对误差率的保证等。对计量经济学论文传统上报告的那类理论结果，机器学习文献通常较少涉及，当然近期有了某些重要突破。目前没有规范的研究结论表明，对于监督学习问题，深度学习或神经网络方法普遍优于回归树或随机森林方法。而且至少从短期看，这方面的比较不太可能得出一般性结论。在许多情形下，构建有效的大样本置信区间的能力是重要的，但我们不应该轻易排除无法（或暂时无法）提供此类结果却具有其他优势的分析方法。这些方法在特定数据库中展示的超越其他方法的样本外预测能力在实践中极具价值，然而在计量经济学中还很少被列为目标或受到重视。有学者指出，某些实质性问题被很自然地归入预测问题，就此类情形的研究目的而言，评估测试组的拟合效果往往已经足够。而在其他一些情形下，一个预测问题的结果是对主要分析对象的一个输入，不需要对超出收敛速率的预测成分做统计分析。可是还有许多情形，我们有必要为感兴趣的参数提供有效置信区间，例如对于平均干预效应。此时，标准差或置信区间反映的不确定程度可能成为是否实施干预决策的重要参考内容。因此我们认为，随着机器学习工具在未来被更加广泛地采用，学者们需要明确阐述自己的研究目标，以及自己采用的算法或估计量的某些特性为什么是重要的。本文的一个主题是，虽然在某些情形下简单地从机器学习研究文献中借鉴算法可以取得效果，但在其他许多时候未必能适用。机器学习技术通常要求细致的调适，才能有效处理经济学家感兴趣的特定问题。或许*重要的调适类型是探讨问题的结构，例如许多估计对象的因果关系性质、变量的内生性、数据的构造（如面板数据）、在可替代产品集合中做离散选择的性质，以及经济学理论施加的可信约束（例如需求在价格上表现出来的单调性）或其他形状约束等（Matzkin，1994,2007）。统计学和计量经济学在传统上非常强调这些结构特征，并发展出了许多可加以利用的思想，而机器学习方法对此往往不重视。从实质内容和统计方法上利用好这些思想，将能够极大地改善机器学习的效果，这跟图像识别等特定问题中采用的机器学习的精心调适手段是相似的。还有一类调适是改变机器学习算法的*优化标准，把因果推断放到优先考虑中，例如控制混杂因子，或者发现治疗效果的异质性等。*后，我们可以采用样本分割方法，利用不同数据选择模型而非估计参数，或者采用正交化方法等技术改善机器学习的估计量的表现，这在某些情形下可以带来估计量的渐进式正态性等理想特征。本文将介绍一系列工具，我们认为它们应该成为实证经济学家工具库的组成部分，并纳入计量经济学研究生课程。这当然来自主观选择，而且鉴于此类研究文献的发展速度，相应工具清单会快速变化。另外，我们对相关议题的讨论并不很完备，只是着眼于对传递重要思想和见地的相关方法的简介，并提及更全面的其他参考资料。排在我们清单上**位的是非参数回归，在机器学习研究文献中的术语则是用监督学习解决回归问题。排在第二位的是介绍用于分类问题的监督学习，与离散反应模型中的非参数回归密切相关，但不完全相同，可以说这是机器学习方法取得*大成功的领域。排在第三位的是非监督学习，或者说聚类分析和密度估计。排在第四位的是对异质性干预效应的估计，以及从个体观测特征对应于干预方案的*优政策选择。排在第五位的是实验设计中的机器学习方法，目前老虎机方法正在带来革命性影响，特别是在网络场景中。排在第六位的是矩阵填充问题，包括在因果面板数据模型和消费者离散产品集合选择问题中的应用。*后我们还将讨论文本数据分析。我们注意到，近期还有几篇为经济学家而写的关于机器学习方法的文献综述，普遍涉及比本文内容更多的实证案例和应用参考。例如，范里安（Varian，2014）对若干重要的机器学习方法做了高水平的讨论。穆莱纳森和施皮斯（Mullainathan and Spiess，2017）重点分析了监督学习方法用于回归分析的好处，以及经济学领域中适用预测方法的各种问题。阿西等人（Athey，2017）提供了广泛的研究视角，并重点介绍了近期采用机器学习方法开展因果分析的进展及其对经济学研究的普遍意义。根茨科等人（Gentzkow et al.，2017）出色地介绍了近期采用的文本分析方法，并侧重于在经济学中的应用。另外在计算机科学与统计学研究文献中还有几本优秀的教科书，适合不同层次的社会科学背景的研究者参考，其中包括黑斯蒂等人从统计学角度提供了较为全面的参考，布尔科夫有非常易读的入门介绍，以及阿尔佩丁和诺克斯的著作。当然这些著作都更多地采用了计算机科学的视角。