麻省理工学院的研究人员开发了一种方法，帮助员工与人工智能系统协作。
人类在处理复杂任务时，会借鉴过去的互动和经验来做出决策。
研究人员在模型中运用了这一方法，以帮助个人了解AI。
参与该技术培训后，接受培训的人员中有近50%准确理解了AI的能力。
在一家繁忙的医院里，一位放射科医生正在使用人工智能系统，根据患者的X光图像帮助她诊断病情。使用该AI系统可以帮助她更快地做出诊断，但她如何判断何时该相信AI的预测呢？
她无法确定。相反，她可能会依靠自己的专业知识、系统本身提供的置信度，或者算法如何做出预测的解释（这种解释可能看起来令人信服，但结论仍可能是错误的）来做出判断。
为了帮助人们更好地理解何时应当信任AI“队友”，麻省理工学院的研究人员开发了一种入职培训技术，引导人们更准确地认识机器在哪些情况下做出正确预测，在哪些情况下做出错误预测。
通过向人们展示AI如何补充其自身能力，这种培训技术有助于人类在与AI智能体协作时做出更好的决策，或更快地得出结论。
“我们提出了一个教学阶段，逐步让人类接触这一AI模型，使他们能够亲自了解其弱点和优势，”计算机科学与人工智能实验室（CSAIL）及医学工程与科学研究所临床机器学习小组的研究生侯赛因·莫扎纳尔（Hussein Mozannar）说道，“我们的做法是模拟人类在实际中与AI互动的方式，但我们会进行干预，提供反馈，帮助他们理解自己与AI的每一次互动。”
莫扎纳尔与计算机科学助理教授阿文德·萨蒂亚纳拉扬（Arvind Satyanarayan）共同撰写了这篇论文，后者领导CSAIL的可视化小组；资深作者为大卫·桑塔格（David Sontag），他是麻省理工学院电气工程与计算机科学副教授，也是临床机器学习小组的负责人。该研究将于二月在人工智能促进协会上发表。
心智模型
这项工作关注的是人类对他人所建立的心智模型。如果放射科医生对某个病例不确定，她可能会向在某一领域的专家同事请教。基于过去的经验以及对这位同事的了解，她对他的优势和弱点形成了一种心智模型，并以此来评估他的建议。
莫扎纳尔表示，人类在与AI智能体互动时也会建立同样类型的心智模型，因此这些模型是否准确非常重要。认知科学研究表明，人类在处理复杂任务时，会通过回忆过去的互动和经验来做出决策。因此，研究人员设计了一套入职流程，提供人类与AI协同工作的代表性示例，作为人类未来可以借鉴的参考点。他们首先开发了一种算法，用于识别最能帮助人类了解AI的示例。
“我们首先通过观察专家在未受AI引导的情况下的过往决策，来了解其偏见和优势，”莫扎纳尔说，“然后，我们将对人类的了解与对AI的了解相结合，以判断人类在何处依赖AI会有所帮助。接着，我们获取那些我们知道人类应当依赖AI的案例，以及那些类似但人类不应依赖AI的案例。”
研究人员在一项基于段落的问答任务中测试了他们的入职培训技术：用户会收到一段书面文字和一个问题，问题的答案包含在该段文字中。随后，用户需要作答，并可点击按钮“让AI作答”。然而，用户事先无法看到AI的答案，因此需要依靠自己对AI的心智模型来判断。他们开发的入职流程首先向用户展示这些示例，用户在AI系统的帮助下尝试做出预测。人类可能对也可能错，AI也可能对也可能错，但无论哪种情况，在完成示例后，用户都会看到正确答案，以及AI为何做出该预测的解释。为了帮助用户从示例中归纳规律，系统还会展示两个对比示例，解释AI答对或答错的原因。
例如，培训问题可能是：根据一本植物学教科书中一段复杂的文字，判断两种植物中哪一种分布于更多大洲。人类可以自行作答，也可以让AI系统作答。随后，她会看到两个后续示例，以帮助她更好地了解AI的能力。比如，AI在关于水果的后续问题上可能答错，但在关于地质学的问题上答对。在每个示例中，系统用来做出预测的词语都会被高亮显示。莫扎纳尔解释道，看到这些高亮词语，有助于人类理解AI智能体的局限性。
为了帮助用户记住所学内容，用户接着会写下她从该教学示例中推断出的规律，例如“这个AI不擅长预测花卉”。之后在实际与智能体协作时，她可以参考这些规律。这些规律也构成了用户对AI心智模型的一种形式化表达。
教学的影响
研究人员使用三组参与者测试了这一教学技术。一组完整经历了整个入职培训技术；另一组未收到后续对比示例；基准组则未接受任何教学，但可以事先看到AI的答案。
“接受教学的参与者与未接受教学但能看到AI答案的参与者表现同样出色。因此，结论是他们能够像看到答案一样，模拟出AI的答案，”莫扎纳尔说。
研究人员进一步深入分析数据，查看每位参与者所写的规律。他们发现，接受培训的人员中有近50%写出了关于AI能力的准确总结。那些总结准确的人在63%的示例中答对，而那些总结不准确的人答对率为54%。未接受教学但能看到AI答案的人，在57%的问题上答对。
“当教学成功时，它会产生显著的影响。这正是这里的核心结论。当我们能够有效地教导参与者时，他们的表现会优于直接给他们答案的情况，”他说。
但结果也表明，仍存在差距。在接受培训的人员中，只有50%建立了准确的AI心智模型，而即便是这些人，答对率也仅为63%。莫扎纳尔说，尽管他们学到了准确的规律，却并不总是遵循自己制定的规则。
这一问题让研究人员百思不得其解：即便人们知道AI应当是正确的，为什么他们不听从自己的心智模型？他们计划今后探讨这一问题，并改进入职流程，以缩短所需时间。他们还有意在更复杂的AI模型上开展用户研究，尤其是在医疗保健领域。
本研究部分得到了美国国家科学基金会的支持。
