我们如何改善聋哑学生的在线学习

undefined
本内容由人工智能自动翻译。
  • “包容性”的第四次工业革命,意味着倾听聋人或重听(DHH)中小学生的需求。

  • 访谈结果显示,在线学习可能会过度负担聋人及重听(DHH)学生的视觉器官。

  • 字幕可以根据场景重新调整大小和位置,以更好地适应聋人及重听(DHH)学生的需求。

2020年,新冠疫情迅速且广泛地促使学生转向在线学习。

从一开始,YouTube、TED、MOOC和Zoom就挺身而出,在физically受限的环境中为学生提供支持。与此同时,人工智能的自动语音转文字字幕帮助媒体服务覆盖了聋人及重听(DHH)学生。

市场和技术似乎正在使受益群体不断扩大,惠及任何人、任何时间和任何地点。然而,在线学习并非完全具有包容性。

这是因为聋人及重听(DHH)学生的听力障碍与在线学习模式的一项假设相冲突。这些学生只能用眼睛跟随教师的讲授内容。这意味着在线学习可能会过度负担聋人及重听(DHH)学生的视觉器官,而非聋人及重听人群对此则毫无察觉。

我们访问了聋哑青少年学校的学生和教师(见图1)。

图1:参与访谈的聋人及重听(DHH)学生与非聋人及重听学生和教师的人数 Image: 作者自制

在线学习视频速度过快

参与访谈的学生中有12人抱怨视频速度过快。这些学生通常比文字更熟悉手语,即使视频附有手语字幕,他们仍觉得速度太快。

聋人及重听(DHH)学生表示,即便屏幕上的手语以稳定的速度呈现,他们仍觉得翻译得过快。这很可能是视觉负担所致:聋人及重听(DHH)学生依赖视觉刺激获取两类信息——语音(无论是文字还是手语)和画面(整体图像)。

在线学习服务可以通过在现有文字之外增加手语,并取消所有字幕选项,从而让聋人及重听(DHH)学生也能参与其中。

金基培

仅放慢视频速度并非解决之道

参与访谈的所有教师一致认为,聋人及重听(DHH)学生的阅读技能比非聋人及重听学生更为广泛。课堂通常由少数擅长阅读视频字幕文字的学生,以及大多数难以做到这一点的较低水平学生组成。

普通教材对大多数聋人及重听(DHH)学生并无帮助,因为其内容过多。然而,我们认为解决方案不在于专为聋人及重听(DHH)学生设计的教材,因为此类教材的市场较小,因此价格较高。

文字字幕与手语均可发挥作用

聋人及重听(DHH)学生对文字字幕与手语的偏好各不相同。7名学生更喜欢前者,另外7名学生更喜欢后者。3名学生表示,他们其实无需字幕也能观看视频,尽管其中两人存在重度听力障碍。

在线学习服务可以通过在现有字幕选项之外增加手语,让聋人及重听(DHH)学生也能参与其中。不过,字幕界面方面仍存在问题。

第一个问题在于,当字幕固定在屏幕一侧时,难以辨别是谁在说话。非聋人及重听学生可以凭借说话者的语气迅速辨认出来。然而,聋人及重听(DHH)人群则需要从画面中寻找线索。但当例如辩论变得激烈而视频未显示说话者时,这些线索便不复存在。因此,聋人及重听(DHH)人群只能仅凭文字记录的对话语境来推断谁在说话。

近期一些研究提出了解决方案,通过以下方式支持说话者追踪:多模态分区和对话气泡。

字幕大小与语言选择仍是一门不够完善的技艺

字幕过大可能遮挡视频,而字幕过小则难以阅读。无论哪种情况,聋人及重听(DHH)学生都会错过视频内容,要么是因为看不清,要么是因为全神贯注于理解字幕。受访学生要求提供控制字幕大小和位置的功能。

具有挑战性、甚至完全错误的词语和短语会让聋人及重听(DHH)学生感到沮丧。虽然错误和障碍对非聋人及重听学生同样重要,但他们至少可以将语音信息与字幕进行对照。而聋人及重听(DHH)学生缺乏可供核对错误理解、误解和知识差距的其他信息来源。

应对难词的一个简单方法是:通过手语或图像进行补充说明,可以帮助聋人及重听(DHH)学生理解具有挑战性的方言、外语和专业术语。一名学生建议,图画和手语字幕可以切实帮助应对这些挑战。

人工智能同样有助于提高字幕准确性。然而,所有受访者都抱怨自动字幕系统不够准确。

为聋人及重听(DHH)学生重新设计在线学习

聋人及重听(DHH)学生对在线学习的需求,指向两项新的设计原则。首先,与非聋人及重听学生相比,这一群体更希望获得基于语境的偏好调整。他们广泛的阅读能力要求提供速度调节器和可回放的内容模块,以便返回错过的镜头。

如果字幕能够根据语境重新调整大小和位置,并提供足够的手语文字和定位选项,便可提升他们的理解能力。

其次,聋人及重听(DHH)学生需要互动词典辅助。这样的词典可以帮助他们避免因视频信息仅通过眼睛传递而产生的误解。

如果学生能够在点击解释与自动弹出之间、以及在文字与手语之间进行选择,互动界面将有助于改善聋人及重听(DHH)学生的后续学习。

在线学习服务应整合这些设计原则,包括提供便于界面定制的控制面板,以及互动词典辅助面板。

课堂已经发声:聋人及重听(DHH)学生在线学习的现实需求已为人所知。耳朵通常会补充通过眼睛传递而来的、不完整甚至有时错误的信息。然而,由推行一刀切式设计所引发的一系列小问题不断累积,使聋人及重听(DHH)学生处于实际的劣势。

如果我们不认识到这一点,就可能损害聋人及重听(DHH)学生攀登教育阶梯、改善自身生活的能力。这正是我们的研究团队正在为在线学习服务制定适合聋人及重听(DHH)学生的设计指南的原因。

感谢卢准勇(韩国科学技术院文化技术研究生院教授)和崔镇焕(韩国科学技术院人工智能研究生院硕士生)对本文的贡献。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。