这台计算机能把文字变成动画

科学家在让计算机理解自然语言，以及生成一系列物理姿态以创建逼真的动画方面已取得巨大进展。然而，这些能力似乎彼此独立地存在于两个不同的世界中，因为自然语言与物理姿态之间的联系一直缺失。

研究人员正致力于使用一种他们称为“语言到姿态联合模型”（Joint Language-to-Pose，简称JL2P）的神经架构，将这两个世界结合起来。JL2P模型使研究人员能够将句子与身体运动进行联合嵌入，从而使其能够学习语言与动作、手势及运动之间的关系。

“我认为我们仍处于这项研究的早期阶段，但从建模、人工智能和理论的角度来看，这是一个非常激动人心的时刻，”卡内基梅隆大学语言技术研究所副教授路易-菲利普·莫伦西（Louis-Philippe Morency）表示。“目前，我们谈论的是为虚拟角色制作动画。最终，语言与手势之间的这种联系可能应用于机器人；我们或许能够直接告诉个人助理机器人我们希望它做什么。

“我们最终也可能反向而行，利用语言与动画之间的这种联系，让计算机描述视频中正在发生的事情，”他补充道。

为了创建JL2P，语言技术研究所博士生柴坦尼亚·阿胡贾（Chaitanya Ahuja）采用了一种课程学习方法，该方法侧重于让模型首先学习简短、简单的序列——“一个人向前走”——然后再学习更长、更难的序列——“一个人向前迈步，然后转身再向前迈步”，或“一个人在跑步时跨过障碍物”。

动词和副词描述动作及其速度/加速度，而名词和形容词描述位置和方向。阿胡贾表示，最终目标是为复杂序列制作动画，使多个动作同时或依次发生。目前，这些动画仅针对火柴人。

莫伦西解释说，使问题更加复杂的是，即使在简单序列中，也有很多事情同时发生。

“身体各部位之间的同步性非常重要，”莫伦西表示，“每当你移动双腿时，你也在移动手臂、躯干，也可能移动头部。身体动画需要协调这些不同部分，同时实现复杂的动作。将语言叙述融入这一复杂的动画环境既具有挑战性，又令人兴奋。这是迈向更好地理解言语和手势的一条路径。”

阿胡贾将在加拿大魁北克市举行的国际三维视觉会议上展示这项工作。