近期一篇论文列出了过去半个世纪以来最重要的统计学思想。
作者在此概述了10项统计学突破，它们推动了人工智能革命。
这10本书和文章可被视为整个领域的代表。
如果你曾向Siri或Alexa求助，或曾生成一幅仿文艺复兴画家风格的自画像，那么你就已经与深度学习打过交道了。深度学习是人工智能的一种形式，它从海量数据中提取规律以进行预测。尽管深度学习和人工智能已成为家喻户晓的词汇，但推动这场革命的统计学突破却鲜为人知。在近期的一篇论文中，Andrew Gelman，哥伦比亚大学统计学教授，以及Aki Vehtari，芬兰阿尔托大学计算机科学教授，发表了一份清单，列出了过去50年里最重要的统计学思想。
对于那些可能在“统计学入门”课上打过瞌睡的人，下面，Gelman和Vehtari将逐一解读这份清单。他们表示，每一项思想都可以被视为整个子领域的代表，但需注意以下几点：科学是渐进式的；通过单独列举这些成果，并不意味着他们想要贬低类似相关工作的重要性。他们还选择聚焦于统计学和机器学习中的方法，而非同样重要的统计计算以及计算机科学与工程领域的突破，后者提供了数据分析与可视化得以成为日常实用工具的工具和算力。最后，他们聚焦于方法，同时也认识到，理论与方法的发展往往受具体应用的驱动。
如果您发现有重要内容遗漏，请在推特上@columbiascience，Gelman和Vehtari将考虑将其添加到清单中。
以下10篇文章和书籍均发表于过去50年间，并按时间顺序排列。
1. Hirotugu Akaike（1973）。 信息论与最大似然原理的一种扩展。《第二届信息论国际研讨会论文集》。
这篇论文提出了AIC这一术语（最初称为An Information Criterion，现称为赤池信息准则Akaike Information Criterion），用于基于模型的估计预测精度来评估其拟合优度。AIC很快便被公认为一种实用工具，而这篇论文是20世纪70年代中期发表的数篇论文之一，这些论文将统计推断置于预测框架之中。如今我们认识到，预测验证是统计学和机器学习中的一项基本原则。赤池弘次是一位应用统计学家，他在20世纪60年代曾尝试测量机场跑道的粗糙度，这与Benoit Mandelbrot早期关于分类学和帕累托分布的论文最终引向其后来的分形数学研究的思路相似。
2. John Tukey（1977）。 探索性数据分析。
这本书影响深远，读来饶有趣味，一口气便可读完。传统上，数据可视化与探索被视为实用统计学中的低级环节；而光环则属于拟合模型、证明定理，以及在各种数学假设或约束条件下发展统计程序的理论性质。Tukey颠覆了这一观念。他撰文探讨统计工具，其目的并非用于证实我们已知（或自以为已知）的内容，也并非用于拒绝那些我们从未相信、或本不应相信的假设，而是从数据中发现新的、出人意料的洞见。他的工作推动了网络分析、软件以及整合证实、批判与发现的理论视角的进步。
3. Grace Wahba（1978）。 非正常先验、样条平滑与回归中防范模型误差的问题。《皇家统计学会杂志》。
样条平滑是一种拟合非参数曲线的方法。Wahba在这一时期的另一篇论文题为“An automatic French curve”（自动法式曲线），指的是一类算法，它们能够在数据中拟合任意光滑曲线，而不会对噪声或异常值过度拟合。这一想法如今看来或许显而易见，但在曲线拟合的起点还是多项式、指数函数及其他固定形式的年代，它是一大进步。除了样条的直接适用性之外，这篇论文在理论上也十分重要。通过统一高维模型正则化的思想，它为后来的非参数贝叶斯推断研究奠定了基础。
4. Bradley Efron（1979）。 自助法：重新审视刀切法。《统计学年刊》。
自助法（Bootstrapping）是一种无需假设即可进行统计推断的方法。可以说，数据靠自己的“靴带”把自己拉了起来。但是，没有假设就无法进行推断；自助法之所以如此实用且影响深远，是因为假设隐含在计算过程之中，即对数据进行重抽样这一大胆而简单的想法。每次都对原始数据重复执行统计程序。与过去50年间的许多统计方法一样，这一方法之所以被广泛应用，得益于计算能力的爆发式增长，它使模拟得以取代数学分析。
5. Alan Gelfand和Adrian Smith（1990）。 基于抽样计算边际密度的方法。《美国统计学会杂志》。
快速计算彻底改变统计学与机器学习的另一种方式，是开放式贝叶斯模型。传统统计模型是静态的：将分布A拟合到B类数据上。而现代统计建模则更具“积木式”（Tinkertoy）的特质，允许你通过调用分布和变换的库，灵活地解决随时出现的问题。我们只需要计算工具来拟合这些拼装起来的模型。在这篇颇具影响力的论文中，Gelfand和Smith并未开发任何新工具；他们展示了如何使用吉布斯采样来拟合一大类统计模型。近几十年来，吉布斯采样器已被哈密顿蒙特卡洛、粒子滤波、变分贝叶斯以及更为复杂的算法所取代，但模块化模型构建的总体原则依然保留。
6. Guido Imbens和Joshua Angrist（1994）。 局部平均处理效应的识别与估计。 《Econometrica》。
因果推断是这样一类问题的核心：问题不仅是描述性的（事情过去如何？）或预测性的（接下来会发生什么？），而是反事实的（如果我们做X，Y会发生什么变化？）。因果方法与统计学和机器学习的其他领域一道，通过探索、建模与计算不断演进。但因果推理还面临额外的挑战，即需要处理无法测量的数据（同一个人不可能既接受X又不接受X）。因此，该领域的一个关键思想是识别在给定实验中哪些问题能够得到可靠的回答。Imbens和Angrist是经济学家，他们撰写的这篇颇具影响力的论文探讨了在因果效应存在差异时可以估计什么，其思想构成了此后该主题大量研究工作的基础。
7. Robert Tibshirani（1996）。 通过Lasso实现回归收缩与变量选择。《皇家统计学会杂志》。
在回归中，即根据一组输入或特征来预测结果变量，难点在于纳入大量输入及其交互作用；由于将这些输入组合起来以获得合理预测的方式多种多样，所得的估计问题在统计上变得不稳定。经典的最小二乘法或最大似然估计会产生较大噪声，在未来数据上的表现可能不佳，因此人们开发了各种方法来约束或“正则化”拟合，以提高稳定性。在这篇论文中，Tibshirani提出了lasso，这是一种计算高效且如今广泛使用的正则化方法，它已成为更复杂模型中基于数据的正则化的范式。
8. Leland Wilkinson（1999）。 图形语法。
在这本书中，Wilkinson是一位统计学家，曾参与SPSS和Tableau等多个有影响力的商业软件项目。他提出了一个统计图形框架，超越了通常关注的饼图与直方图之争、如何绘制散点图，以及数据墨水与图表垃圾等问题，从抽象层面探讨数据与可视化之间的关系。这项工作通过多种途径影响了统计学，其中最显著的是通过R语言中的ggplot2及tidyverse系列软件包。这是将探索性数据分析与模型分析融入数据科学工作流程的重要一步。
9. Ian Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu、David Warde-Farley、Sherjil Ozair、Aaron Courville和Yoshua Bengio（2014）。 生成对抗网络。《神经信息处理系统国际会议论文集》。
近年来，机器学习最引人注目的成就之一，是通过预测与推断反馈实现实时决策。著名的例子包括自动驾驶汽车，以及DeepMind的AlphaGo，它通过自我训练成为地球上最强的围棋选手。生成对抗网络（GAN）是一项概念性进展，使强化学习问题能够被自动求解。它们朝着人工通用智能这一长期目标迈出了一步，同时还利用并行处理的能力，使程序能够通过与自己对弈数百万局来自我训练。从概念层面看，GAN将预测与生成模型联系在一起。
10. Yoshua Bengio、Yann LeCun和Geoffrey Hinton（2015）。 深度学习。《自然》。
深度学习是一类人工神经网络模型，可利用大量特征进行灵活的非线性预测。其基本组成部分（逻辑回归、多层结构和贝叶斯推断）并不算新鲜。这一研究方向之所以如此具有影响力，在于人们认识到，这些模型经过调整后可以解决各种预测问题，从消费者行为到图像分析，无所不包。与统计学和机器学习的其他发展一样，只有借助快速并行计算以及能够利用这一能力实时拟合大型模型的统计算法，调参过程才得以实现。从概念上讲，我们仍在追赶这些方法的能力，这也正是可解释机器学习备受关注的原因。
