随着我们逼近超级智能AI的下一个前沿——即能够递归自我改进、应对复杂且开放式问题的系统——我们必须就“解决”一个问题的含义达成共识。
如果人类之间都无法就这些问题达成一致，我们又如何将这些问题编码进AI系统？
各国领导人正齐聚2026年世界经济论坛年会，探讨AI及其他新兴技术的伦理应用将如何转化为应对现实世界挑战的解决方案。
更多数据、更强算力，以及Transformer等架构创新，已推动AI能力快速扩展。如今，随着我们逼近超级智能AI的下一个前沿——即能够递归自我改进、应对复杂且开放式问题的系统——我们正面对一个一直隐藏在眼前的问题。我们需要就“解决”一个问题的真正含义达成共识。
AI擅长优化我们赋予它的目标，这既是福音，也是隐患。例如，某公司希望提升呼叫中心的客户满意度评分。若没有其他指引，最简单的办法可能是派出数百万个机器人，在简短通话后填写客户满意度表格并选择最高评分。或者，它可能决定为每个失败订单赠送10,000美元的补偿礼品。客户满意度确实会上升，但代价是什么？AI完成了它被交代的任务，但方式毫无用处。
这被称为奖励黑客。若将这一问题放大到社会挑战层面，其风险将关乎生死存亡。
目前，我们有提示词工程师为AI系统编写指令，例如“请提供有用但简洁的回答”或“分析这些数据并总结关键发现”。这些方法之所以有效，是因为任务边界清晰，结果也相对明确。
但当我们要求AI应对更大的问题时，情况会怎样？优化税收制度。减少不平等。应对气候变化。实现经济最大化增长。突然间，我们不再只是下达指令，而是在编码价值观、优先事项和权衡取舍。我们投入了大量关注，探讨哪些工作会因AI而消失或减少，但我认为一种新的工作类型将会出现。
对于超级智能AI而言，成功究竟是什么样子？
设想我们要求超级智能AI“促进经济增长并解决经济不平等”。这意味着什么？
这是指人人收入相等吗？机会均等吗？还是在特定维度上结果均等？我们是否愿意保留一定程度的不平等，以维持创新的激励？如果减少不平等需要放缓经济增长，又该如何？这样是否可以接受？
或者再考虑一下：“让公司更加盈利。”AI应当最大化季度收益吗？还是应着眼于长期股东价值？它是否应当考虑员工福祉？环境影响？利润优化在什么时候会变得有问题？
这些都是社会已争论数百年的、极具挑战性的哲学与政治问题。但要让超级智能真正帮助我们应对这些重大全球挑战，我们必须弄清楚如何明确表达我们的诉求。
我亲身见证过这一挑战。在我们的AI经济学家论文中，我们使用强化学习来设计最优税收政策。我们创建了一个模拟经济体，其中AI智能体分别扮演工人和经济规划者的角色，所有智能体共同学习，以找到能够改善公平与生产力之间权衡关系的税收政策。
我们告诉AI要优化“公平与生产力的乘积”。如果它在实现这一目标的过程中破坏了环境，又会怎样？或者它造成了技术层面的平等，而每个人都痛苦不堪？我们确实达成了既定目标，但得到的却是我们明确不想要的结果。
如果你无法就希望赋予AI的真实奖励达成一致，或者没有跳出框架思考AI可能以何种不理想的方式完成任务，那么AI就无法为你把这些事情做好。你必须找出所有这些边缘情形和失败场景——它们在客观上实现了你的目标，但实际上并非你的本意。'
论坛如何帮助领导者理解AI，并协作推动负责任的创新
AI卓越中心汇聚各行业领导者，帮助他们理解人工智能的快速演进及其对经济与社会的影响。该中心支持围绕AI应用相关的机遇、风险与权衡展开知情对话。
通过可信赖的交流空间和协作性倡议，该中心助力合作伙伴建立共同认知，并携手推进负责任的AI创新与应用方式。
谁来决定“解决”意味着什么？
这引出了或许是最具挑战性的问题：谁有权定义“解决”的含义？不同国家的价值观存在根本差异。
即便在一国之内，我们也无法达成一致。我们应当优化GDP增长还是幸福感？自由还是安全？创新还是稳定？个人自由还是集体福祉？如果人类之间都无法就这些问题达成一致，那么当AI系统可能需要为多个人类文明提供优化建议时，我们又如何将这些问题编码进去？
我们需要建立共享框架，用于思考客观结果，正如我们需要国际协议来进行产品安全测试一样。不仅如此，我们还需要一批专业人才，将人类价值观和社会目标转化为AI系统能够执行的精确规范。我称之为奖励工程。无论叫什么名称，这都是一门学科，也是一种目前几乎尚不存在的职业。
这些人需要深入理解AI，才能预见开放式、持续学习、自我改进的超级智能可能如何钻目标的空子——这并非因为它邪恶或有自己的意志，而是因为它会以最简单、成本最低、速度最快的方式获取人类为其设定的奖励。他们还需要具备批判性思维和哲学训练，以应对有关价值观与权衡取舍的根本性问题。他们需要具备AI应用领域的专业知识，包括经济学、政策、伦理学和社会科学，或是服务呼叫中心等看似平凡、却极为重要的职能。他们还需要思考各种失败场景：即你在客观上实现了既定目标，但在实践中却得到了没有人想要的结果。
在部署超级智能AI之前，需要考虑哪些因素？
有人主张，在部署强大的AI之前，我们需要就目标达成全球共识。另一些人则认为，目标应通过竞争与实验逐步形成。有人希望通过民主程序来确定价值观，也有人则倾向于信任专家或市场。随着AI在各行各业变得愈发重要，试图在抽象层面上界定其全部内容是没有意义的。我们需要在AI真正触及各行业中人们生活的时候进行监管。
关于AI将如何影响各行各业的所有工作，我们尚未找到全部答案，但我确信，仅靠技术突破不足以带来超级智能所能带来的经济与社会效益。
在超级智能AI能够应对全球挑战之前，我们必须先解决一个非常人性化的问题：就“解决”的含义达成一致，并建立框架，将其转化为AI能够处理的形式。
哪些工作最需要为其定义奖励？
