这款设备让你无需出声即可与电脑对话

An account executive at the stock exchange works on his computer in the Invercasa building in Managua, Nicaragua November 22, 2017. REUTERS/Oswaldo Rivas
This new technology picks up electrodes on the face and jaw that are undetectable to the human eye.Image: REUTERS/Oswaldo Rivas
本内容由人工智能自动翻译。

麻省理工学院的研究人员开发了一种计算机界面,能够转录用户集中精神默念、但并不实际出声说出的词语。

该系统由一台可穿戴设备和一套配套的计算系统组成。设备中的电极可捕捉下颌和面部的神经肌肉信号,这些信号由内部默念触发——即在“脑海中”说出词语——但人眼无法察觉。这些信号被输入一个经过训练的机器学习系统,该系统能够将特定信号与特定词语对应起来。

该设备还包括一副骨传导耳机,它通过面部骨骼将振动传导至内耳。由于耳机不会堵住耳道,因此系统能够向用户传递信息,而不会打断对话或以其他方式干扰用户的听觉体验。

AlterEgo 的工作原理。Image: Kapur 等人

因此,该设备是一个完整的无声计算系统的一部分,使用户能够在不被察觉的情况下提出复杂计算问题并接收答案。例如,在研究人员的一项实验中,受试者使用该系统无声地报告国际象棋对局中对手的走子,并同样无声地接收计算机推荐的应对走法。

“这一设计的初衷是打造一种 IA 设备——即智能增强设备,”麻省理工学院媒体实验室的研究生 Arnav Kapur 说道,他领导了这一新系统的开发。“我们的构想是:能否打造一个更加内在的计算平台,在某些方面融合人与机器,并让人感觉它是我们自身认知的内在延伸?”

“我们基本上已经离不开手机和各种数字设备了,”媒体艺术与科学教授、Kapur 的论文导师 Pattie Maes 说道。“但目前,使用这些设备的方式具有很强的干扰性。如果我想查询与正在进行的对话相关的内容,我得找到手机、输入密码、打开应用程序,再输入搜索关键词,整个过程要求我完全将注意力从周围环境和身边的人转移到手机上。因此,我的学生和我长期以来一直在尝试新的形态和新型体验,让人们依然能够享受这些设备为我们带来的丰富知识和服务,同时又能以一种让他们保持专注于当下的方式进行。”

研究人员在美国计算机协会(ACM)智能用户界面会议上发表的论文中描述了他们的设备。Kapur 是该论文的第一作者,Maes 是资深作者,另有电气工程与计算机科学专业的本科生 Shreyas Kapur 也参与了该研究。

细微信号

内部默念具有生理相关信号的观点可追溯至19世纪,并在20世纪50年代得到认真研究。20世纪60年代速读运动的目标之一,就是消除内部默念,即人们所熟知的“默读发声”(subvocalization)。

然而,将默念作为计算机界面的研究在很大程度上仍未被探索。研究人员的第一步是确定面部的哪些位置是最可靠神经肌肉信号的来源。因此,他们开展了实验,让相同的受试者四次默念同一系列词语,每次在面部不同位置放置一组16个电极。

研究人员编写代码分析所得数据,发现来自七个特定电极位置的信号能够持续区分默念的词语。在该会议论文中,研究人员报告了一种可穿戴无声语音界面的原型,它像电话耳机一样环绕在颈后,并带有类触手的弯曲附件,在嘴两侧及下颌沿线的七个位置接触面部。

但在目前的实验中,研究人员仅沿一侧下颌使用四个电极,便获得了相当的结果,这有望使可穿戴设备的存在感更低。

确定电极位置后,研究人员开始收集几项词汇量有限(每项约20个词)的计算任务的数据。其中一项是算术,用户需默念大型加法或乘法算式;另一项是国际象棋应用,用户使用标准国际象棋记谱系统报告走子。

随后,针对每个应用,他们使用了一个神经网络来寻找特定神经肌肉信号与特定词语之间的关联。与大多数神经网络一样,研究人员所用的网络由若干层简单的处理节点组成,每个节点都与上下相邻层中的多个节点相连。数据输入最底层,该层节点对其进行处理后传递给下一层,下一层节点继续处理并再传递,依此类推。最终层的输出即为某项分类任务的结果。

研究人员系统的基本配置包括一个经过训练、能够从神经肌肉信号中识别默念词语的神经网络,但它可以通过仅重新训练最后两层的过程,针对特定用户进行定制。

实际问题

借助这款可穿戴界面原型,研究人员开展了一项可用性研究:10名受试者各自花费约15分钟,将算术应用调整为适配自身的神经生理特征,随后又花费90分钟使用该应用进行计算。在该研究中,系统的平均转录准确率约为92%。

但 Kapur 表示,随着训练数据增多(这些数据可在日常使用中收集),系统的性能应当会有所提升。尽管他尚未对数据进行详细计算,但他估计,他用于演示的经过更充分训练的系统,其准确率高于可用性研究中所报告的水平。

在正在进行的工作中,研究人员正在收集大量更复杂对话的数据,希望能够开发出词汇量大得多的应用。“我们正处于数据收集的过程中,结果看起来很不错,”Kapur 说道,“我认为我们终有一天能够实现完整的对话。”

“我认为他们有点低估了这项工作的真正潜力,”佐治亚理工学院计算学院教授 Thad Starner 说道。“比如,控制亚特兰大哈茨菲尔德机场停机坪上的飞机。你周围全是喷气发动机的噪音,还戴着那些厚重的护耳装置——如果能在通常无法用语音交流的环境中进行交流,那岂不是很好?你可以想象许多高噪音环境,比如航空母舰的飞行甲板,或者是有大量机械设备的地方,如发电厂或印刷机附近。这套系统很有意义,尤其是因为在这类环境或情境中,人们通常已经佩戴着防护装备。例如,如果你是战斗机飞行员或消防员,你本来就戴着这些面罩。”

“这项技术极为有用的另一个领域是特种作战,”Starner 补充道,“有很多场合不是嘈杂的环境,而是寂静的环境。特种作战人员常常使用手势,但并非总能看见这些手势。如果能让这些人员之间进行无声语音交流,那岂不是很好?最后一类是存在语言障碍、无法正常发声的残障人士。例如,Roger Ebert 因下颌癌症而失去了说话的能力。他能否进行这种无声语音,再由合成器把词语说出来?”

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。