X射线般的透视能力长期以来被视为遥不可及的科幻幻想,但在过去十年间,麻省理工学院计算机科学与人工智能实验室(CSAIL)的Dina Katabi教授带领的团队不断让我们更接近透视墙壁的目标。计算机科学与人工智能实验室(CSAIL)
他们的最新项目“RF-Pose”利用人工智能(AI)训练无线设备,使其能够感知人的姿态和动作,即使是在墙的另一侧。
研究人员使用神经网络分析反射自人体的无线电信号,随后可生成动态的简笔画人形,该人形会随人的行为而行走、停止、坐下,并移动四肢。
该团队表示,RF-Pose可用于监测帕金森病、多发性硬化症(MS)和肌肉萎缩症等疾病,从而更好地了解疾病进展,并使医生能够据此调整药物。它还有助于老年人更加独立地生活,同时提供跌倒、受伤以及活动模式变化的监测,增强安全保障。目前,该团队正与医生合作,探索RF-Pose在医疗保健领域的应用。
该团队收集的所有数据均已获得受试者同意,并经过匿名化和加密处理,以保护用户隐私。在未来的实际应用中,团队计划实施一种“同意机制”:安装设备的人员将被提示做出一组特定动作,设备随后才会开始监测环境。
“我们发现,监测患者的步行速度以及其独立完成基本活动的能力,能让医疗服务提供者窥见以前无从了解的生活状况,这对一系列疾病都可能具有重要意义,”Katabi说道。她是该项目新论文的合著者之一。新论文关于该项目的论文。“我们这种方法的一个关键优势在于,患者无需佩戴传感器,也无需记得为设备充电。”
除医疗保健外,该团队表示,RF-Pose还可用于新型视频游戏,让玩家在家中四处走动;甚至可用于搜救任务,帮助定位幸存者。
Katabi与博士生兼第一作者Mingmin Zhao、麻省理工学院教授Antonio Torralba、博士后研究员Mohammad Abu Alsheikh、研究生Tianhong Li,以及博士生Yonglong Tian和Hang Zhao共同撰写了这篇新论文。他们将于本月晚些时候在美国犹他州盐湖城举行的计算机视觉与模式识别会议(CVPR)上发表该研究。
研究人员需要应对的一个挑战是,大多数神经网络依赖人工标注的数据进行训练。例如,要训练一个用于识别猫的神经网络,需要人们查看大量图像,并将每张图像标注为“猫”或“非猫”。而无线电信号则难以由人工轻松标注。
为解决这一问题,研究人员同时利用其无线设备和摄像头收集样本。他们收集了数千张人物图像,内容涵盖行走、交谈、坐下、开门和等待电梯等活动。
随后,研究人员利用这些摄像头图像提取简笔画人形,并将其与相应的无线电信号一同输入神经网络。这种样本组合使系统能够学习无线电信号与场景中人物简笔画之间的关联。
训练完成后,RF-Pose无需摄像头,仅利用反射自人体的无线信号,即可估计人的姿态和动作。
由于摄像头无法透视墙壁,该神经网络从未专门针对墙后一侧的数据进行训练——这一点让麻省理工学院团队尤为惊讶:该网络竟能将其所学知识加以推广,从而处理穿墙运动。
“如果把计算机视觉系统视为老师,那么这就是一个真正令人着迷的例子:学生超越了老师,”Torralba说道。
除感知动作外,作者还表明,他们能够利用无线信号,在100人的队列中以83%的概率准确识别某人身份。这一能力对于搜救行动可能尤为有用,因为在这类行动中,了解特定人员的身份可能会有所帮助。
在本论文中,模型输出的是二维简笔画人形,但团队还在致力于创建三维表示,以便能够反映更细微的动作变化。例如,它或许能够判断老年人的手是否有规律地颤抖到需要进行体检的程度。
“通过将视觉数据与人工智能相结合来实现透视墙壁,我们能够促进更好的场景理解,并打造更智能的环境,让人们生活得更安全、更高效,”Zhao说道。



