如果你曾看过投资产品的广告,就听过“过往表现并不保证未来收益”这句话。当然,事实确实如此。但这并未阻止企业、政府、组织和个人尝试预测未来。为了提高胜算,一个政府研究机构——情报高级研究计划局(IARPA)——一直在资助大学团队参加年度竞赛,研究如何更好地衡量和改进预测世界事件的能力。
沃顿商学院市场营销学教授芭芭拉·梅勒斯一直在领导其中一支团队——该团队连续三年赢得竞赛。
在这篇与《Knowledge@Wharton》的访谈中,梅勒斯谈到了团队的发现、哪些特质让一些人更擅长预测,以及如何助力最优秀的预测者。
以下为经编辑的访谈实录。
招募知识精英:
我参与了一项由 IARPA 赞助的多年预测竞赛。IARPA 是情报界的研究部门。IARPA 赞助了五支大学团队,彼此竞赛,旨在提出尽可能好的方法,衡量针对世界各地事件的汇总预测。这些事件包括军事冲突、选举、疫情、难民流动,甚至大宗商品价格等。
“以美国政府为例,政策制定者面临的决策涉及数十亿美元和数千条生命。在这些情况下,利害关系极其重大,因此即便是微小优势,也意味着巨大进步。”
我们招募了数千名预测者,他们来自博客、专业协会、研究中心等,并让他们在一年时间里作出预测。每两周,他们都会收到问题。他们登录网站作出预测,并可随时返回更新预测。
当时,我们并不清楚该如何改进预测,于是就自然而然地开展了实验。我们发现,有三项做法效果非常好。第一是培训。我们设计了一个一小时的概率培训模块,似乎能改善预测。我们让参与者组成团队,而不是单独工作,这也提高了预测水平。互动、信息分享以及对推理依据的讨论,都提升了准确性。
最后,我们发现,跟踪表现能大幅提高预测准确性。每年年底,我们从数千名预测者中选出排名前 2% 的人,将他们组成精英小组,并授予他们“超级预测者”的称号。这些人的准确性提升幅度超乎我们的想象。他们互动更多,搜寻的信息也更多。最终结果令人惊叹。事实上,他们帮助我们连续三年赢得竞赛。
作出更好的预测:
每个人都依赖预测,而如今我们对预测的了解远胜于这场竞赛之前。在商业领域,人们关心是否投资研发或拓展新市场,也关心消费者想要什么、偏好哪些产品延伸,以及产品何时可以上市分销。
我认为,企业可以运用这场竞赛的洞见来作出更好的预测。并非所有经验都能顺利推广,但如今我们掌握了许多心理学和统计学方面的洞见,知道哪些因素能改善预测。
令人意外的发现:
这场竞赛中的许多事情都让我感到意外。我没想到我们的培训模块会有效。要设计出一个能对判断准确性产生任何影响的模块并不容易。
我很惊讶团队比独立预测者表现更好。我读过《群体的智慧》,原以为独立预测者会做得更好,错误也会相互抵消。但信息分享和讨论推理依据所带来的好处,超过了保持独立的好处。因此,在我们的研究中,团队表现更佳。
超级预测者的效果更是让我大吃一惊。这就像在学校里分层培养学生,把最优秀的学生放在一起。由此产生的协同效应非常显著。
最佳实践:
我认为,我们的团队之所以如此出色,有几个原因。其中之一是他们在线协作。在线上,很难有人盛气凌人。人们可以在自己方便的时候登录,因此协作是依次进行的,而不是同时发生;我认为,同时进行时更容易出现群体思维。他们彼此非常尊重——预测者之间也是如此——我认为这也是成功配方中的重要一环。
“我们有评论员、专家、权威人士和专业人士对未来作出预测。其中许多预测表述得十分含糊,以至于我们无论如何也无法检验。”
准确预测的价值:
我认为,企业可以改进预测能力。我认为,他们可以组建自己的超级预测者团队,更好地预测未来 Twitter。而所谓“更好”其实是相对而言的。我的意思是,你只需要比下一个人做得更好。
我们并不追求完美,显然也不可能达到完美。以美国政府为例,政策制定者面临的决策涉及数十亿美元和数千条生命。在这些情况下,利害关系极其重大,因此即便是微小优势,也意味着巨大进步。
我认为,我们的研究带来的启示之一是,做好预测既需要心理学,也需要统计学。这需要既理解预测者,也理解统计分布和统计信息的各个方面。如今,我们知道如何更好地设计算法,汇总多项预测。我们也更了解哪些条件或环境能让个体预测者发挥最佳水平。
让预测接受检验:
我们每天都会听到各种预测。评论员、专家、权威人士和专业人士都在预测未来会发生什么。其中许多预测表述得十分含糊,以至于我们无论如何也无法检验。例如:“未来两周内,也门的冲突可能会加剧。”或者:“巴格达的局势会先恶化,然后才会好转。”诸如此类——这既不是一个问题,也不是一项能通过“预知能力检验”的陈述。事后你无法判断谁对谁错。
如今,我们向这些人征求建议、寻求见解。但这些含糊的预测几乎没有给我们带来什么。我认为,改进之道在于记录和评估预测表现。我们必须以可检验的方式表述预测。这样才能知道谁对谁错,以及如何吸取经验、做得更好。
“我们对与预测准确性相关的个体差异有了更多了解。因此,我们能更具体地说明谁是最优秀的预测者。”
要点:
我们很幸运,能够以实证为依据提出主张。我们根据数据和实验,知道哪些做法有效。许多旨在改进预测的书籍、方法和技巧都未经检验。因此,我认为,实证这一面显然是我们项目的独特之处。
我们已经了解到许多能改善预测的因素。例如,我们发现,采用统计算法汇总预测的调查形式,表现可以胜过预测市场。我们还发现,如果在市场交易期间衡量参与者的概率判断,并且询问他们“事件 X 发生的概率是多少?”,将价格与概率结合起来,就能提高预测准确性。从经济学角度看,这两项发现都出人意料。
我们对与预测准确性相关的个体差异有了更多了解。因此,我们能更具体地说明谁是最优秀的预测者,尤其是在地缘政治领域。
不出所料,他们往往很聪明、知识面广,也具备丰富的政治知识。但他们也更可能是积极开放的思考者,分析能力更强,更可能采取科学的世界观。他们更可能从多个角度看待问题,并使用多个参照类别。他们也更可能以更细致、更有层次的方式使用概率,比如说 17% 和 83%,而不是 20% 和 80%。
事实证明,更精细的概率刻度包含信息。若将预测四舍五入到最接近的 10%、20%、30% 或 40%,大多数预测者的表现会变差。这表明,这种精细度中包含有价值的信号,而不仅仅是噪声。
未来计划:
IARPA 竞赛将于一个月后的 6 月 2 日结束。但我们的预测工作并不会就此结束。良好判断项目将于今年秋季举办一场公开竞赛。我们有许多假设需要检验,也需要许多志愿者。我们非常欢迎沃顿商学院相关人士参与。
因此,如果你对此感兴趣,或者认识可能感兴趣的人,请访问 goodjudgmentproject.com 了解更多信息。我们将非常感谢并欣喜地欢迎你加入。
经许可转载自《Knowledge@Wharton》(http://knowledge.wharton.upenn.edu),这是宾夕法尼亚大学沃顿商学院的在线研究与商业分析期刊。转载并不意味着世界经济论坛认可其中观点。
及时了解议程动态, 订阅我们的每周简报。
作者:芭芭拉·梅勒斯是沃顿商学院市场营销学教授。
图片:2012 年 5 月 11 日,一名男子在东京一家证券经纪公司外查看股票行情显示牌。路透社/ Hanai Toru。

