如果没有一些关于NAPLAN的争议,五月初就不完整了。今年的争议源于上周的 公告 :全国各地3、5、7和9年级学生参加的全国考试将于2017年由计算机评分。
改为在线评分的部分理由是,这样可以把周转时间从数月缩短到几周。对于有正确答案的选择题式测试,这一点没有争议;但将其用于创意写作时,问题就大得多。
计算机能给创意写作评分吗?
NAPLAN写作任务通常是叙事或说服性写作,要求完成一篇较长的散文。 评分标准 包括受众、文本结构、连贯性、词汇、段落安排、句子结构、标点和拼写。
关于撰写说服性文本,指南解释说:
学生需要写出自己的观点,并在回应测试题目时运用个人知识和经验。
指南还解释说,对于叙事文本,应当:
逐渐认识到,故事中段需要出现一个问题或转折,引入冲突、危险或紧张局面,并且最终必须得到解决。正是这种悬而未决的状态吸引读者继续读下去,并营造悬念。
问题在于,计算机能否以这种精细程度恰当地评判学生的创意写作。
评分算法系统会教会我们的孩子,教育中什么才重要吗?
AAP
根据澳大利亚课程、评估与报告局(ACARA)的说法, 它们能够做到。
目前采取的方法是使用有监督机器学习:将由人工评分的样本试卷输入算法,让算法通过逆向分析评分决策,学习如何识别高质量回答。ACARA开展的 试验 表明:
人工智能解决方案的表现与参与其中的教师不相上下,甚至更好。
一种观点认为,计算机评分比人工评分的差异更小,不过有关评分者可靠性的这些 说法 仍有 争议。
例如,如果学生提交了一篇 毫无意义的文章 ,但它恰好符合算法的预期,会发生什么?
自动评分并非新鲜事物。自 大型开放式在线课程(MOOC) 兴起以来,自动评分尤其受到关注,人们也一直在寻找为学生论文评分的廉价替代方案。
研究文献 对其潜在 益处与弊端呈现出不一的结论,但也有不少人明确 反对 计算机评分,其中包括 学者 和 教育工作者。
算法 的兴起在许多领域都可见一斑,包括下棋的计算机、自动驾驶汽车、用于预测行为的元数据分析、在线广告、语音识别软件和自动补全搜索引擎。算法进入我们的课堂似乎只是顺理成章。 教育中究竟什么才重要?
我觉得有一件事颇具讽刺意味:我们竟要用实际上不会阅读或写作的计算机,来测试学生的阅读和写作能力。下一步是否就是用机器人教师取代我们的教师,在课堂上提供标准化、客观且毫无感情的反馈?
计算机如何评估创造力和才华?它又如何识别反讽、机智和幽默?那些为了达到表达效果而采用非传统方法的作者又该怎么办?
算法可以轻易处理字面含义,但面对推断性含义,或需要结合丰富语境、背景知识、先前学习、文化与社会话语来理解时,又会怎样?这些都是人类在阅读和写作中构建意义这一复杂图景的一部分。
例如,NAPLAN的
评分指南 提到说服性写作中使用古典修辞话语,包括: Pathos(情感诉求)——诉诸情感;Ethos(伦理诉求)——诉诸价值观;Logos(逻辑诉求)——诉诸理性。
除了科幻电影里的计算机,我还没见过具有情感或价值观、因而能够以任何说服性方式被诉求的计算机。
人们严重担忧,对NAPLAN写作任务进行计算机评分会产生意想不到的影响,波及
教与学 ,包括在线阅读和写作策略 与传统纸质阅读理解和写作所采用的策略不同。 另一项担忧是,计算机评分会使学生写作趋于单一,让“应试教学”比现在更加严重。
也许,想象计算机给作业评分、机器人走进课堂教学,并没有那么异想天开。毕竟,有人
预测 我们将在2029年达到奇点,也就是人工智能超越人类的时刻。 与其进行这项特定实验,ACARA是否更应该把资金投入到真正能提升澳大利亚学校学生学习质量的事情上?专注于让考试评分更快、更便宜,似乎与教育中真正重要的事情背道而驰。
在达到奇点之前,也许我们应该着力改善教育体系中最弱势学生的公平性和受教育机会,并让机器人置身事外。
本文最初发表于
The Conversation 。请阅读原文 。本文的发表并不意味着世界经济论坛认同其中观点。如需及时了解议程动态,
请订阅我们的每周通讯 。作者:
Stewart Riddle 是 南昆士兰大学 高级讲师。图片:2012年6月18日,学生在斯特拉斯堡的法国路易·巴斯德中学参加考试。路透社/Vincent Kessle。
分享:


