在一项研究中，36名学生分别使用抽认卡应用或QuizBot学习。研究团队发现，对于QuizBot涵盖的内容，学生正确回忆出的答案多出25%以上；与使用抽认卡相比，他们使用QuizBot学习的时间长了2.6倍以上。
抽认卡应用和QuizBot教授的内容涵盖科学、人身安全以及高级英语词汇。两者采用完全相同的排序算法，以选择接下来向学生呈现的内容。
斯坦福大学计算机科学助理教授、论文合著者Emma Brunskill表示，学习时间更长是QuizBot效果好得多的一个关键原因；这篇论文将刊载于SIGCHI人机交互系统中的人为因素会议论文集。研究团队在苏格兰格拉斯哥举行的CHI 2019会议上公布了研究结果。
“QuizBot的对话感更强，也更有趣。学生觉得自己有一位真正的学习伙伴，”领导这项研究的研究生Sherry Ruan说。
聊天机器人是人工智能的一个分支，相关计算机程序通过短信与人互动。与课堂相比，它们更常见于客户服务和电子商务应用中。如果你曾在考虑网上购物时与客服人员聊天，那么你很可能就与聊天机器人互动过。
QuizBot为聊天机器人模式带来了新变化。它像老师一样通过短信提出事实性问题。学生输入答案、提出澄清问题并请求提示。随后，QuizBot会理解并以对话方式回应，仿佛另一端是一个真人。与抽认卡不同，聊天机器人可以识别接近正确但仍有偏差的答案，并向学生提供更多指导，甚至给予鼓励。
设计这类教育系统的一大难点，是计算机必须能够识别各种形式的正确答案。学生的答法各不相同，用词和句法也不一样。当然，答案还可能出现拼写错误。这正是人工智能发挥作用的地方。
为了测试QuizBot评分的准确性，研究团队从研究中随机抽取了11,000条对话记录。他们发现，QuizBot的判断有96.5%是正确的：在它提出的144道题中，仅有5次评判错误。其中一次是拼写错误（将“true”误拼为“ture”），另有三次是因为算法对过短但仍正确的答案进行了扣分。只有一次错误是由于QuizBot误解了语言。
研究人员认为，QuizBot或许预示着非正式学习将迎来一个抽认卡之后的时代。“我认为，人们对聊天机器人总体上抱有很大期待，尽管它们目前还没有在教育领域广泛应用，”同时担任人工智能促进人类福祉实验室主任的Brunskill说。“但这种情况应该会改变。”
斯坦福大学、科尔比学院和中国清华大学的其他研究人员也参与了这项研究。TAL教育集团为这项研究提供了资金。
