声音如何帮助盲人“看见”周围环境

声音如何帮助盲人“看见”周围环境
本内容由人工智能自动翻译。

繁忙的厨房是一个所有感官都处于高度警觉状态的地方——你的大脑同时处理滋滋作响的热油声、香料的香气、盘中食物摆放的视觉美感,以及咬下一口时的触感与味道。尽管这些信号看似独立、彼此无关,但它们实际上会在大脑的感觉神经元网络中相互作用、整合。

加州理工学院的研究人员现已发现,一种称为跨模态映射的内在神经连接,可被辅助设备利用,帮助盲人感知周围环境,且无需高度集中注意力或数百小时的训练。这种关于此类辅助设备(称为感官替代设备)的新多感官视角,可使过去需要耗费注意力的任务变得容易得多,让非视力人群获得一种类似视觉的新感官功能。该研究成果发表在10月22日出版的 《Scientific Reports》期刊论文中。

“许多神经科学教科书对多感官互动的论述只占寥寥几页,” Shinsuke Shimojo是Gertrude Baltimore实验心理学教授,也是本研究的首席研究员。他说:“但我们日常生活的99%都依赖于多感官(也称多模态)处理。”他举例说,如果你正在与一位非常熟悉的人通电话,而对方正在哭泣,你不仅会听到声音,还会在脑海中浮现其泪流满面的面容。“这说明感官因果关系并非单向的——视觉可以影响听觉,听觉也可以影响视觉。”

Shimojo与博士后学者Noelle Stiles利用这些跨模态映射,以编码环境信息的听觉信号刺激视觉皮层。他们解释说,跨模态映射无处不在,每个人本来就具备这些映射。映射包括将高音直观地与空间中的较高位置相匹配,或将嘈杂的声音与明亮的光线相匹配。与这些映射一样,多模态处理可能是使感官替代设备更趋自动化的关键。

研究人员使用一种名为vOICe的感官替代设备,对明眼人和盲人进行了试验,该设备可将图像转换为声音。

vOICe设备由一台小型计算机和一个连接在深色眼镜上的摄像头组成,使其能够“看见”人眼所能看到的内容。计算机算法从左到右扫描每一帧摄像头图像,并针对每一列像素生成一个相关声音,其频率和音量取决于像素的垂直位置和亮度。一列中顶部有大量明亮像素会转换为响亮的高频声音,而底部有大量暗色像素则会转换为较轻、音调较低的声音。戴着这种装在眼镜上摄像头的盲人,便可以将不同声音与周围环境的特征联系起来。

在试验中,未经任何培训或指导的明眼人被要求将图像与声音进行匹配;盲人受试者则被要求触摸纹理并将其与声音相匹配。触觉纹理可以与视觉纹理(图案)相联系,类似地形图:图像中明亮区域对应相对于纸面较高的触觉高度,而暗色区域则较为平坦。两组受试者都表现出一种直觉能力,能够根据相关声音识别纹理和图像。令人惊讶的是,未经训练(也称“天真”)组的表现显著高于随机水平,且与训练组相差不大。

实验中被直观识别的纹理利用了vOICe编码算法中已有的跨模态映射。Stiles解释说:“当我们逆转vOICe听觉到视觉转换中的跨模态映射时,天真组的表现显著下降,这表明这些映射对于直观理解声音至关重要。”

Shimojo表示:“我们发现,使用该设备观察纹理——即明暗图案——体现了纹理与声音之间的“直觉”神经连接,这意味着存在某种先已存在的跨模态性。”跨模态性的一个常见例子是联觉,即一种感官的激活会引发另一种非自愿的感官体验,例如听到某个特定声音时看到某种颜色。“现在,我们发现,每个人本已存在的跨模态连接,可被用于使感官替代无需任何指导或训练即可变得直观。”

研究人员目前尚不完全清楚大脑各感觉区域在处理这些各类信号时具体在做什么,但已有一个大致的设想。“听觉区域在听到声音时被激活,视觉区域也会被激活,我们认为视觉区域会处理声音中的空间特性与要素。大脑的视觉部分在处理图像时,会将物体映射到空间位置,像拼图一样将它们拼合在一起,”Stiles说。为了进一步了解跨模态处理在大脑中如何发生,研究小组目前正利用功能性磁共振成像(fMRI)数据来分析跨模态神经网络。

这些先已存在的神经连接,为训练视障人士使用能帮助他们“看见”的设备提供了重要起点。明眼人只需睁开眼睛,大脑便会自动处理图像与信息,实现与环境的无缝互动。目前为盲人和视障人士设计的设备并不那么自动化或直观,通常需要用户全神贯注地关注并解读环境信息。Shimojo实验室关于多模态处理与跨模态映射作用的新发现,开始着手解决这一问题。

除实际意义外,Shimojo表示,该研究还引发了一个重要的哲学问题:什么是“看见”?

“这看似是个显而易见的问题,但它其实很复杂,”Shimojo说。“看见是睁开眼睛时发生的事情吗?不是,因为如果视网膜[即眼内感光组织层]受损,仅仅睁开眼睛是不够的。那是视觉皮层被激活的时候吗?但我们的研究表明,视觉皮层也可被声音激活,这说明我们其实并不真正需要眼睛才能看见。这非常深刻——我们正试图通过其他感官,为盲人提供一种视觉体验。”

论文题为 “Auditory Sensory Substitution Is Intuitive and Automatic with Texture Stimuli” ,研究获得美国国家科学基金会、Della Martin精神疾病发现基金,以及日本科学技术振兴机构的Core Research for Evolutional Science and Technology项目的资助。

本文与 Caltech合作发布。发布本文并不意味着世界经济论坛认同其中观点。

如需紧跟Agenda动态, 请订阅我们的每周通讯。

作者:Lori Dajose,系Caltech的撰稿人。

图片:一名盲童拄着白色盲杖行走。REUTERS/Marko Djurica.

分享至:

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。