他们的算法Photo Wake-Up可以让一个人从二维照片或艺术作品中走出来，并使其跑步、行走或跳出画框。
该系统还允许用户借助增强现实工具以三维方式观看动画。研究人员将于6月19日在加利福尼亚州长滩举行的计算机视觉与模式识别会议上展示其研究成果。这项研究在去年12月以预印本形式发布于媒体关注后首次引起ArXiv。
“这是计算机视觉领域一个非常困难的基础性问题，”合著者、华盛顿大学保罗·G·艾伦计算机科学与工程学院副教授Ira Kemelmacher-Shlizerman说道。“这里的最大挑战在于，输入信息仅来自单一摄像机位置，因此人物的一部分是不可见的。我们的工作将该领域一个尚未解决的问题上的技术进步与富有艺术创意的可视化相结合。”
此前，研究人员认为仅凭一张照片让人物从画中跑出来是不可能实现的。
“此前已有一些研究尝试利用多个视角创建三维角色，”合著者、艾伦学院教授Brian Curless说道。“但这些研究仍无法让人物‘活过来’并从场景中跑出，也无法将增强现实引入其中。我们仅用一张照片就能取得引人注目的结果，这确实令人惊讶。”
研究人员设想，Photo Wake-Up 可以带来一种新方式，让游戏玩家创建真正与自己相似的虚拟形象；也可以是一种让参观者与艺术博物馆画作互动的方法，比如与蒙娜丽莎共进下午茶；或者是一种让儿童将画作变为现实的工具。
研究论文中的示例包括：让金州勇士队的斯蒂芬·库里跑出球场，让保罗·麦卡特尼从《Help!》专辑封面上跃出，以及让马蒂斯的《伊卡洛斯》（1944年）离开画框。
为实现这一效果，Photo Wake-Up 首先识别图像中的人物，并生成人体轮廓的蒙版。随后，它将三维模板与主体的身体姿态相匹配。接着，该算法采用了一种出人意料的做法：为了使模板变形后真正看起来像照片中的人物，它会将三维人物重新投影回二维。
“要在三维中精确地进行操作非常困难，”合著者、艾伦学院博士生翁钟仪说道。“也许可以大致完成，但在让角色动起来时，任何误差都会非常明显。因此，我们必须找到一种能够完美处理这些问题的方法，而在二维中完成这项工作要容易得多。”
Photo Wake-Up 会为每个像素存储三维信息，包括其与摄像机或艺术家之间的距离，以及人物关节的连接方式。模板完成变形以匹配人物形状后，该算法会贴上纹理，即图像中的颜色。它还利用图像信息和三维模板生成人物的背面。随后，该工具将两侧拼接在一起，生成一个可以转身的三维人物。
三维角色准备好奔跑后，该算法还需要设置背景，以免角色身后留下空白。Photo Wake-Up 会借用图像其他部分的信息，填补人物身后的空洞。
目前，Photo Wake-Up 在面向前方的人物图像上效果最佳，既可以让艺术创作动起来，也可以让真实人物的照片动起来。该算法还能处理部分人物手臂遮挡身体局部的照片，但尚无法为双腿交叉或遮挡身体大部分区域的人物制作动画。
“Photo Wake-Up 是一种与照片互动的全新方式，”翁说道。“它目前还无法做到所有事情，但这仅仅是个开始。”
