如果我们希望未来的机器人听从指挥，它们就必须全面理解周围的世界——如果机器人听到狗叫，是什么发出的声音？狗看起来是什么样子？狗需要什么？
人工智能研究通常把识别图像、辨别声音和理解文本视为三个不同的问题，并针对每项任务分别构建算法。想象一下，如果你一次只能使用一种感官，而且无法把听到的内容与看到的东西联系起来，会是什么情形。这就是当今人工智能的状态，也是我们离创造出能够像人类一样学习的算法还很遥远的部分原因。不过，麻省理工学院的两篇新论文麻省理工学院和谷歌阐述了让人工智能以整体方式看、听、读的初步步骤——这种方法可能彻底改变我们教机器认识世界的方式。
“无论是看到汽车，还是听到发动机的声音，你都会立刻认出它们指向同一个概念。我们大脑中的信息会自然地对齐，”共同撰写这篇论文的麻省理工学院人工智能博士后研究人员Yusuf Aytar说道。
Aytar 使用的“对齐”一词正是这里的关键。研究人员并不是在教算法新东西，而是在为算法创造一种方式，让它们把一种感官获取的知识与另一种感官获取的知识联系起来，或使之对齐。Aytar 举了一个例子：自动驾驶汽车先听到救护车，再看到它。了解救护车听起来是什么样、看起来是什么样，以及它的用途，可以让自动驾驶汽车做好准备，提醒周围其他车辆减速并让出道路。
为了训练这一系统，麻省理工学院团队首先向神经网络展示了与音频相关联的视频帧。网络找到视频中的物体和音频中的声音后，便尝试预测哪些物体与哪些声音相关联。例如，波浪在什么时候会发出声音？
接下来，团队将配有说明文字、展示类似情境的图像输入同一算法，使其能够把词语与图中呈现的物体和动作联系起来。思路相同：网络先分别识别图片中能找到的所有物体及相关词语，然后将它们匹配起来。
从描述来看，这个网络或许并不令人惊叹——毕竟，我们已经有能够分别完成这些任务的人工智能。但在经过音频与图像、图像与文本的训练后，即使从未接受过识别不同声音对应哪些词语的训练，该系统也能将音频与文本匹配起来。研究人员认为，这表明网络形成了对所见、所听或所读内容更客观的认识，不再完全依赖它用来学习信息的媒介。
如果一个算法能够在视觉、声音和文本之间对齐它对某个物体的认识，就能自动把从听到的内容中学到的知识迁移到看到的内容上。Aytar 举例说，如果算法听到斑马嘶鸣，就会推断斑马与马相似。
“它知道[斑马]是一种动物，也知道它会发出这类声音，并且会以某种内在方式在不同模态之间迁移这些信息，”Aytar 说。这类推断让算法能够在不同概念之间建立新的联系，从而加深它对世界的理解。
谷歌的模型表现类似，此外还能够翻译文本。谷歌拒绝安排一位研究人员进一步介绍其网络的运作方式。不过，该算法已在线开放给其他研究人员使用。
谷歌和麻省理工学院的这两种技术，实际表现都不如专用算法，但 Aytar 表示，这种情况不会持续太久。
“感官越多，准确度就越高，”他说。
