你的大脑不仅会跟上语音,还会捕捉手语的节奏

Students Josh Farabee (L), and Rowan Brothers (R), work on signing during sign language class at the Pride School in Atlanta, Georgia, U.S. on December 7, 2016. The Pride School is a K-12 school for LGBT+ students and others that benefit from alternative educational resources. Picture taken on December 7, 2016. REUTERS/Tami Chappell - RTX2VNUS
Neuroscientists want to understand how the human brain creates and perceives language.Image: REUTERS/Tami Chappell
本内容由人工智能自动翻译。

一项新研究指出,大脑锁定语音模式的方式并非只用于理解口语。这一过程称为神经同步,也是理解手语的一部分。

人脑以节律和周期的方式运作。这些模式以可预测的频率出现,具体频率取决于一个人在做什么,以及行为发生时大脑的哪个部分处于活跃状态。

同样,外部世界也存在节律和模式。过去20年来,科学家一直对大脑能够与这些模式“同步”或相匹配的能力感到困惑。

语言是科学家观察到神经同步的领域之一:人们聆听语音时,脑电波会与听到的、基于音量变化的节律同步。由于人们无法同时留意周围发生的一切,这种相位锁定被认为有助于预测重要信息可能何时出现。

偏好的频率

许多研究记录了语言加工中的这一现象;然而,人们一直难以判断神经同步是否专门用于口语。

“要确定语言的神经同步是专门针对语音的,还是一种通用工具,可用于应对任何在时间上可预测的事物,我们就必须跳出语音和听觉感知的范围,”该研究第一作者、芝加哥大学心理学系博士生杰弗里·布鲁克希尔说。

“通过研究手语,我们得以了解大脑如何更普遍地处理语言。我们正在解开一个仅靠研究语音无法破解的谜团,”该校体验与认知实验室负责人、心理学助理教授丹尼尔·卡萨桑托说。

在语音中,大脑会锁定音节、词语和短语,这些节律的频率低于8赫兹,即每秒8次脉冲。视觉也有一种偏好的频率,大脑会与之同步。

“例如,当我们专注于随机闪烁的光时,大脑最容易与大约10赫兹的闪光同步。通过研究手语,我们可以探究,对神经同步而言,关键究竟是你使用哪种感官,还是你接收的信息类型,”布鲁克希尔说。

为了确定人们是否以跟随语言听觉节律相同的方式跟随视觉节律,研究人员向手语熟练者播放了以美国手语讲述故事的视频,并测量他们观看时的大脑活动。

研究人员获得脑电图读数后,需要找到一种方法来测量手语中的视觉节律。

虽然测量语音节律的方法已相当成熟,但手语时间结构尚无自动、客观的对应测量方法。因此,研究人员开发了一种。

“一项令人振奋的发现”

研究人员开发了一种名为“瞬时视觉变化”的新指标,用于概括手语表达过程中每个时间段的变化程度。他们将实验视频(即参与者观看的视频)输入新算法,以识别画面帧之间视觉变化的峰值和谷值。最大峰值对应着幅度大、速度快的动作。

有了这张展示视频中视觉变化幅度随时间变化的路线图,布鲁克希尔将参与者的脑电图叠加其上,以观察人们是与约10赫兹的常见视觉频率同步,还是与手语中手势和短语较低的频率(约2赫兹)同步。

参与者的脑电波与手语特有的频率同步,而非与视觉通常偏好的较高频率同步。

“这是一项令人振奋的发现。多年来,科学家一直在探讨神经同步可能有多大的适应性或灵活性,但我们始终不确定它是否专属于听觉加工,还是具有更广泛的用途,”布鲁克希尔说。“这项研究表明,人类能够跟随感知节律,并利用任何一种感官进行时间预测。”

从更广泛的角度来看,神经科学家希望了解人脑如何生成和感知语言,而神经同步已成为其中一种重要机制。

这项研究揭示,神经同步是一种提高对信息峰值敏感度的通用策略,为增进对人类语言和感知的理解迈出了重要一步。

“我特别感兴趣的是,论文比较了手语使用者和非手语使用者处理美国手语刺激的方式,”心理学系教授、语言与手势研究学者苏珊·戈尔丁-梅多说。

“尽管两组人在早期视觉区域表现出的神经同步程度相同,但他们在额叶区域存在差异。这一发现为我们识别神经同步的不同方面奠定了基础:有些方面与视觉信号的物理属性有关,另一些则只会在具备语言知识时出现,”她说。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。