帮助视障人士阅读

帮助视障人士阅读
本内容由人工智能自动翻译。

麻省理工学院媒体实验室的研究人员开发了一款指戴式设备原型,内置摄像头,可将书面文字转换为音频,供视障用户使用。设备会提供触觉或听觉反馈,引导用户的手指沿着一行文字移动,系统则实时生成相应音频。

“你确实需要让听到的内容与指尖所在位置紧密对应,”麻省理工学院媒体艺术与科学专业研究生 Roy Shilkrot 说。他与媒体实验室博士后 Jochen Huber 共同署名为一篇介绍该设备的新论文的第一作者。“对视障用户来说,这是一种转换:把手指‘看到’的内容转换成音频。他们确实需要快速、实时的反馈来维持这种联系。如果联系中断,整个体验就会被打破。”

Huber 将于 4 月在计算机协会(Association for Computing Machinery)举办的人机交互会议上发表这篇论文。他与 Shilkrot 的其他合著者包括麻省理工学院媒体艺术与科学领域 Alexander W. Dreyfoos 教授 Pattie Maes;新加坡科技设计大学工程产品开发助理教授 Suranga Nanayakkara,他曾在 Maes 的实验室担任博士后,之后任访问教授;以及新加坡南洋理工大学的 Meng Ee Wong。

论文还报告了一项可用性研究的结果。研究人员邀请视力受损的志愿者参与,并测试了设备的几种不同版本。其中一种配有两个触觉马达,一个位于手指上方,另一个位于下方。马达的振动会指示受试者应抬高还是降低用于跟踪的手指。

另一种不带马达的版本改用音频反馈:如果用户的手指开始偏离文字行,音乐音调就会增大音量。研究人员还测试了同时使用马达和音乐音调的方式。不过,受试者对于哪种反馈最有用并无共识。因此,在正在进行的研究中,研究人员正专注于音频反馈,因为这种方式可以使用更小、更轻的传感器。

要点

该系统能够实时运行,关键在于 Shilkrot 及其同事开发的一种摄像头视频流处理算法。每当用户将手指放在新一行文字的开头时,算法就会对字母基线作出大量估计。由于大多数文字行都包含底部低于基线的字母,而且手指倾斜会使系统混淆相邻的文字行,这些估计会有所不同。但其中大多数往往聚集在一起,算法会选取最密集聚类的中位值。

这个数值又会约束系统在每个新的视频帧中作出的估计;随着用户的手指向右移动,这一做法降低了算法的计算负担。

根据对文字基线的估计,算法还会跟踪每个单词滑过摄像头的过程。当它识别到某个单词位于摄像头视野中央附近(此处失真较小)时,就会从图像中仅裁剪出该单词。基线估计还能让算法重新校正单词的位置,以补偿由不寻常的摄像头角度造成的失真,然后再将其交给开源软件识别字符,并把识别出的单词转换为合成语音。

在这篇新论文所报告的研究中,算法运行于连接指戴式设备的笔记本电脑上。而在正在进行的研究中,计算机科学与工程硕士生 Marcel Polanco,以及通过麻省理工学院本科生研究机会计划参与该项目的计算机科学本科生 Michael Chang,正在开发可在 Android 手机上运行的软件版本,以提高系统的便携性。

研究人员还发现,这款设备的用途可能比他们最初意识到的更广泛。“自从我们开始这项研究后,我们就逐渐明显地认识到,任何需要阅读帮助的人都能从中受益,”Shilkrot 说。“我们收到了许多组织发来的电子邮件和请求,也收到了家长的来信,比如有阅读障碍儿童的家长。”

“用手指代替眼球运动是个好主意,因为和眼睛一样,手指能够有目的地在 x 和 y 方向快速移动,也能迅速扫描事物,”George Stetten 说。他是一名医生兼工程师,在卡内基梅隆大学机器人研究所和匹兹堡大学生物工程系担任联合聘任职务,目前正在开发一款 指戴式设备 ,为视障用户提供远处物体的信息。“他们所做的工作让我印象非常深刻。”

本文由 麻省理工学院新闻合作发布。本文的发布并不意味着世界经济论坛认可其中的观点。

如需了解更多议程动态, 请订阅我们的每周通讯。

作者:Larry Hardesty,麻省理工学院新闻撰稿人。

图片:麻省理工学院媒体实验室的研究人员开发了一款指戴式设备,内置摄像头,可将文字转换为语音,供视障人士使用。麻省理工学院新闻。

分享:

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。