这项算法让你能够看见拐角后的情况

Li Zengwen, a development engineer at Changan Automobile, removes his hands from the steering wheel while the car is on self-driving mode during a test drive on a highway in Beijing, China, April 16, 2016. REUTERS/Kim Kyung-Hoon - GF10000390811
MIT's new discovery has implications for everything from emergency response to self-driving cars.Image: REUTERS/Kim Kyung-Hoon
本内容由人工智能自动翻译。

光让我们得以看见周围的事物,但如果我们也能利用光看见拐角后隐藏的事物呢?

这听起来像科幻小说,但这正是麻省理工学院一项新算法的构想,算法出自该校的计算机科学与人工智能实验室(CSAIL)——这一发现从应急响应到自动驾驶汽车等诸多领域都具有重要意义。

CSAIL团队的成像系统可与智能手机摄像头配合使用,它利用光线反射信息,探测隐藏场景中的物体或人员,并测量其速度和运动轨迹——这一切都能实时完成。

举例来说,想象一下,你正沿着一条L形走廊行走,墙壁将你与拐角处的一些物体隔开。这些物体会将少量光线反射到你视线范围内的地面上,形成模糊的阴影,这种阴影称为“半影”。

Image: 麻省理工学院

通过半影的视频,这套系统——团队称之为“CornerCameras”——能够拼接一系列一维图像,揭示拐角处物体的信息。

“尽管摄像头实际上看不到这些物体,我们仍可以观察它们的运动如何影响半影,从而判断它们在哪里、将往何处去,”新近发表的一篇系统研究论文的第一作者凯瑟琳·鲍曼(Katherine Bouman,硕士毕业于2013年,博士毕业于2017年)说。“通过这种方式,我们证明,墙壁及其他带有边缘的障碍物可以被用作自然形成的‘摄像头’,揭示其后方的隐藏场景。”

鲍曼表示,绕过障碍物观察的能力可用于许多任务,从帮助消防员在着火的建筑物内寻找人员,到帮助驾驶员发现盲区中的行人。

她与麻省理工学院教授比尔·弗里曼(Bill Freeman)、安东尼奥·托拉尔巴(Antonio Torralba)、格雷格·沃内尔(Greg Wornell)和弗雷多·杜兰(Fredo Durand),硕士生维姬·叶(Vickie Ye)以及博士生亚当·耶迪迪亚(Adam Yedidia)共同撰写了这篇论文。本月晚些时候,她将在意大利威尼斯举行的国际计算机视觉会议上介绍这项研究。

工作原理

大多数绕过障碍物进行观察的方法都需要使用特殊激光。具体来说,研究人员会用摄像头对准可见场景和隐藏场景都能看到的特定点,然后测量光线返回所需的时间。

然而,这类所谓的“飞行时间摄像头”价格昂贵,而且很容易受到环境光干扰,尤其是在户外。

相比之下,CSAIL团队的技术无需主动向空间投射光线,而且适用于范围更广的室内和室外环境,也可使用现成的消费级摄像头。

通过观看半影视频,CornerCameras能够生成隐藏场景的一维图像。单张图像并没有太大用处,因为其中包含相当多的“噪声”数据。但通过观察场景数秒并拼接数十张不同的图像,系统便能分辨出运动中的不同物体,并判断其速度和运动轨迹。

“仅仅尝试实现这一目标的想法本身就很有创新性,而在实践中让它发挥作用,则体现了创造力和出色的能力,”南卫理公会大学莱尔工程学院院长、未参与这项研究的马克·克里斯滕森(Marc Christensen)教授说。“这项研究是更广泛探索中的重要一步,旨在开发突破性的成像能力,使观察不再受视线范围的限制。”

团队惊讶地发现,CornerCameras在一系列具有挑战性的情况下都能工作,包括下雨等天气条件。

“雨水确实改变了地面的颜色,我当时觉得,我们根本不可能看出百分之一以下量级的细微光线差异,”鲍曼说。“但由于系统整合了数十张图像中的大量信息,雨滴的影响会相互平均抵消,因此即使周围如此纷乱,你仍能看见物体的移动。”

这套系统仍有一些局限。显而易见,如果场景中没有光线,它就无法工作;如果隐藏场景本身光线不足,也可能出现问题。光照条件发生变化时,系统也可能受到干扰,例如场景位于户外,云层不断从太阳前方飘过。此外,使用智能手机级别的摄像头时,离拐角越远,信号就越弱。

研究人员计划在未来的论文中解决其中一些挑战,也会尝试让系统在移动过程中工作。团队很快将在轮椅上测试这套系统,最终目标是将其改用于汽车和其他车辆。

“如果一个小孩突然冲到马路上,驾驶员可能来不及反应,”鲍曼说。“虽然我们还没有做到这一点,但有朝一日,这类技术或许能提前几秒向驾驶员发出警告,并在许多生死攸关的情况下提供帮助。”

这项研究部分得到了美国国防高级研究计划局(DARPA)REVEAL计划、美国国家科学基金会、壳牌研究部门以及美国国防科学与工程研究生奖学金的资助。

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。