组织如何才能负责任地发布人工智能可以合理使用的知识

undefined
本内容由人工智能自动翻译。
  • 国家统计局等机构发布的数据可以为人们使用传统工具以及越来越多地使用人工智能工具进行在线搜索提供信息。

  • 但是,即使证据不支持结论,这些数据也可以在人工智能搜索结果中被引用。

  • 出版商可以通过提供定义、局限性和示例问题以及证据,帮助开发者检查 AI 生成的答案。

在最近一项将人工智能(AI)助手与乌拉圭公共能源数据连接起来的试点项目中,该系统将数据变化部分归因于气候因素。该试点项目的目标是开发人工智能搜索工具,使用户能够用自然语言提问并获得可追溯到官方数据集的答案。但根据…… 开放知识基金会对该试点项目的描述,以及人工智能助手正在使用的数据集 未包含气候数据 为了佐证其对这一变化的解释。

无论您是使用人工智能工具来评估政策还是规划投资,解释都与数据同样重要。引用可以帮助您找到证据,但这并不能证明人工智能工具答案中的每个论断都源于这些证据。

这给国际能源署、英国国家统计局或美国劳工统计局等发布研究、数据和指南的机构带来了挑战。他们的工作成果可能会出现在人工智能工具的答案中,而这些答案可能会忽略重要的局限性,或者添加一些证据并不支持的解释。仅仅便于获取和引用并不能完全衡量机构的知识是否得到了正确运用。

发布证据的机构可以帮助构建和运营人工智能工具的公司检查这些工具如何使用其数据。除了数据集或研究报告外,他们还可以发布测试题,并附上注释,解释证据支持哪些内容、存在哪些局限性以及哪些内容需要补充证据。

这将为开发者提供实际测试,以证明他们的 AI 系统是否忠实地再现了素材,同时也能让出版商和用户更容易发现问题所在。

人工智能工具的背景和一致性

报告中隐藏的限定条件可能永远无法被仅从报告中提取表格的人工智能系统获取。当组织向人工智能软件提供数据集时,其定义和限制也应通过相同的途径提供。

例如,当人工智能工具请求提供就业数据时,其响应应明确涵盖的人群和时间段,标明该数据是否为暂定数据,并提供用于计算该数据的方法链接。人工智能工具可能无法从分散的文档中可靠地重构关键背景信息。

研究也需要类似的谨慎。摘要可以准确地报告研究结果,但如果忽略了研究结果适用的人群或环境,则会误导读者。

了解统计数据衡量的是什么并不能解释其变化的原因。定义区分了发电量和发电容量,但要解释发电量的变化,还需要更多证据。一个机构可能是某项统计数据的权威来源,但未必是其成因的最终权威。

因此,开发和运营人工智能工具的公司应该核实这些工具所宣称的内容是否得到证据支持。其他来源的信息可能有助于进一步的解读,这些来源也应该被明确指出。如果证据不足,则应承认哪些方面仍存在未知之处。

组织机构还需要在向人员和软件提供信息方面保持一致性。在世界经济论坛和剑桥SupTech Lab发起的一项倡议下,毛里求斯银行与技术提供商TSO合作开展了一项概念验证项目。 将监管信息转换为结构化数据一个工作流程可以发布易于理解的指南、软件界面和 PDF 文件。

通过使用统一的数据源,各机构可以同步更新用户阅读的内容和软件检索到的信息。否则,网站上的更正可能会导致旧的机器可读版本继续流通。当然,为了方便日后查阅历史资料,早期版本应该保持可识别性。

测试人工智能如何使用信息

一个组织可以从广泛使用的数据集或研究入手,发布一些示例问题来测试人工智能工具,并附上说明,解释答案应该包含哪些内容以及证据无法证明哪些内容。

该组织此前收到的问题是一个有用的切入点。例如,在前面提到的乌拉圭和巴西试点项目中,开放知识基金会报告称,合作伙伴的常见问题为测试提供了信息,并有助于完善人工智能工具的使用指南。

这些问题可以检验人工智能工具是否能检索到正确的信息。但评估不应仅仅局限于系统是否返回了正确的数字。还应检查其答案是否存在重要的局限性,例如研究仅涵盖单一年龄组,并指出证据何时无法回答问题。

这些示例问题为评估提供了一个起点,但开发人员还需要测试一些不熟悉的问题:

用于测试人工智能工具答案的示例问题。Image: 瑞茜·王

这些问题旨在帮助检验人工智能工具的答案是否有证据支持,而无需认同某个组织偏好的解释。它们还应允许答案负责任地引用其他来源。

合作与反馈

世界银行提交给2026年联合国统计委员会的背景文件建议: 合作与反馈 在统计数据生产者、分发者和人工智能开发者之间,发布测试题可以使这种合作更具实际意义。

这将有助于出版商维护资源并解释其局限性。开发者则可以评估其人工智能系统如何检索和解读这些资料。诊断错误可能需要双方的参与——出版商可以核实日期是否已提供,但可能需要开发者的帮助来确定系统是否正确检索和使用了该日期。

规模较小的机构无需与每家运营人工智能工具的公司单独建立合作关系。行业机构可以组织联合测试,测试题目可以采用当地常用语言。这些公司应提供清晰的途径,以便举报反复出现的误解。

发布研究成果和证据的目的是帮助人们理解某个问题。检验人工智能生成的答案是否准确反映了这些证据,应该成为发布流程的一部分。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。