科学家应如何解读数据？研究人员在实验室里花费数天、数周、数月乃至数年进行测量和记录后，走出实验室，又该如何根据实验结果得出结论？统计方法得到广泛应用，但 我们最近发表于《自然·方法》的研究 显示，科学界的一项经典统计指标——P值——或许并不像我们所愿的那样可靠。
科学家喜欢数字，因为数字可以相互比较。为了使比较过程更加规范，人们往往会采用统计分析。所有统计分析背后的总体思路是：它们能让研究人员对实验结果作出一定程度上客观的评估。
哪种药物更有效？
科学家经常进行实验，以调查两种条件之间是否存在差异：服用蓝色药丸（条件一）还是红色药丸（条件二）后，人们好转得更快？评估两种药丸疗效是否不同，最常见的方法是对一些患者服用蓝色药丸、另一些患者服用红色药丸的结果进行统计分析，并据此判断是否有强有力的证据表明一种颜色的药丸比另一种更有效。
为评估实验结果，科学家常常使用“P值”（P代表概率）。它用于显示结果有多令人信服：如果P值较小，他们就会认为这些发现是真实的，而非偶然。在我们的药丸示例中，如果P值较小，就被视为有力证据，表明两种颜色药丸的疗效存在差异。
尽管P值绝不能证明两者存在差异——科学研究从不证明事情，只能为其提供一定程度的证据——但人们认为P值较低的研究令人信服，因此通常不会重复研究以确认结果是否正确。这似乎合情合理，因为科学研究的资金和时间都有限：如果某项研究的结果看起来十分明确，在还有新发现等待探索时，或许不值得再三核查。
P值是反复无常的伙伴
然而，我们通过简单模型表明，如果重复一项研究，P值往往会发生巨大变化。我们的模型描述了一个简单情形：从两种条件下取得样本并进行测量，再通过一种称为t检验的统计检验，调查是否有充分证据表明两种条件不同，并以生成P值的方式解读检验结果。
在我们的情形中，两种条件确实存在一定差异，因此我们可能会预期，合理的样本量足以发现这种差异。也就是说，合理的样本量会得到一个与t检验相关的低P值。然而，当我们多次重复模型实验时，会发现P值每次都大幅波动。
如果朋友邀请你下周去家里吃饭，却在此后的几天里不断联系你，给出差别很大的到达时间，你很快就会发现，自己几乎无法确定晚餐究竟几点开始。同样，如果每次进行实验时P值都大幅变化，那么P值就不可靠，也无法很好地衡量单次实验所提供证据的强弱。
这对数据分析影响重大——一项研究得到低P值，可能与数据中存在重要模式有关，也可能同样取决于运气；再次进行实验也很可能得到截然不同的P值。因此，单次实验得到低P值，不能被视为两种条件存在差异的有力证据。
这一缺陷很可能解释了为何过去那些著名的科学发现——它们是许多学科的基础——如今 未能得到证实 ，而原始研究终于开始 接受重新审查。
其中包括癌症研究中缺乏可重复性，以及一种名为“言语遮蔽”的现象似乎消失了：人们看过一张脸并被要求描述它后，与只看过这张脸相比，之后认出这张脸的可能性更低。
那么，P值为什么如此多变、如此反复无常？遗憾的是，看来每次实验中样本之间存在一定程度的变异，就会使P值不稳定。
转变方向
那么，如果不用P值，我们应该用什么来分析和解读数据？我们主张从根本上转变思路，不再问“是否存在差异？”，而要转而问“差异有多大？”。毕竟，科学家很少只想知道不同条件之间是否存在差异。
差异总是存在的，即使小到极微。更值得关注的问题是，差异是否大到足以引起兴趣、具有重要性。如果红色药丸的疗效仅比蓝色药丸高0.01%，两者确实存在差异，但并不值得注意——在实际应用中，两种颜色的药丸效果一样好。
我们可以舍弃P值，让科学家转而依据实验结果关注不同条件之间差异的大小。他们还可以提供易于计算的数值，说明将这一差异推广到实验室之外时，其估计可能有多精确。
因此，数据收集结束后，科学家应着重估算蓝色和红色药丸在疗效上的差异有多大，以及这一估计可能有多精确。研究人员已经了解这些简单概念——效应量和置信区间——只需开始更加重视它们，让P值成为过去。
遗憾的是，虽然少数期刊如今已开始禁止使用P值，以承认它的一些缺陷，但最近 至少有一家期刊 也禁止使用置信区间，显然是因为其精确的统计学定义可能导致人们过度解读和误解。
对此观点，一个合理的反驳是，置信区间是估算研究发现误差范围的宝贵工具——在把实验室收集的数据样本转化为对现实情境的理解时，它是一项关键指标，而现实情境中的结果真正关系重大。
本文最初发表于 《The Conversation》。请阅读 原文。发表本文并不代表世界经济论坛认可其中观点。
如需了解更多议程内容， 请订阅我们的每周简报。
作者：刘易斯·哈尔西（Lewis Halsey）是比较与环境生理学高级讲师，任职于 罗汉普顿大学。
图片：图为用于数字数据海量存储的机器人磁带库。路透社/托马斯·彼得。
