研究人员利用人工智能和图像转换,教会机器人识别水并将水倒入杯中。
透明液体会以多种方式反射、折射和吸收光线,因此机器人难以理解它们。
研究人员在一杯透明水后播放视频,训练机器人在现实世界的各种背景下倒水,无论机器人身处何处都能做到。
这项发现或可让机器人服务员为水杯续水、机器人药剂师测量并混合药物,或让机器人园丁给植物浇水。
一匹马、一匹斑马和人工智能帮助研究人员教会机器人识别水并将水倒入杯中。
水是机器人面临的一项棘手挑战,因为它是透明的。机器人此前已经学会倒水,但以往的技术,例如加热水并使用热成像摄像头,或将杯子放在棋盘格背景前,都不太适用于日常生活。
一种更简单的解决方案或可让机器人服务员为水杯续水、让机器人药剂师测量并混合药物,或让机器人园丁给植物浇水。
如今,研究人员利用人工智能和图像转换解决了这一问题。
教机器人倒水
图像转换算法利用图像集合训练人工智能,将图像从一种风格转换为另一种风格,例如把照片变成莫奈风格的画作,或让马的图像看起来像斑马。在这项研究中,团队采用了一种称为非配对图像到图像转换的对比学习方法,简称 CUT。
“在学习的训练阶段,你需要有办法告诉算法哪些答案正确、哪些错误,”卡内基梅隆大学机器人研究所助理教授 David Held 说。“然而,标注数据可能非常耗时,尤其是教机器人倒水时,人可能需要在图像中标注每一滴水。”
马和斑马登场了。
“正如我们可以训练模型,把马的图像转换成看起来像斑马的图像,我们也可以类似地训练模型,把彩色液体的图像转换成透明液体的图像,”Held 说。“我们利用这个模型让机器人能够理解透明液体。”
透明的液体(如水)很难被机器人看见,因为它反射、折射和吸收光线的方式会随背景而变化。为了教计算机透过一杯水识别不同背景,团队在装满水的透明杯子后播放 YouTube 视频。通过这种方式训练系统,机器人就能在现实世界的各种背景下倒水,无论身处何处都能做到。
“即使对人类来说,有时也很难准确辨认水与空气的界线,”Gautham Narasimhan 说。他于 2020 年获得机器人研究所硕士学位,并与该研究所机器人感知与行动实验室的团队合作开展了这项新研究。
使用他们的方法,机器人能够将水倒至杯中的特定高度。随后,他们用不同形状和大小的杯子重复了实验。
Narasimhan 表示,未来研究还有空间拓展这一方法,例如加入不同的照明条件、让机器人尝试把水从一个容器倒入另一个容器,或不仅估算水的高度,还估算水的体积。
研究人员在研究成果上于 2022 年 5 月举行的 IEEE 国际机器人与自动化会议上进行了介绍。
“机器人领域的人们很看重研究能在现实世界中奏效,而不只是停留在模拟中,”Narasimhan 说。他目前在俄亥俄州哥伦布市的 Path Robotics 担任计算机视觉工程师。“我们想做一些相当简单但有效的事情。”



