社交媒体用户最喜欢做的事情中，少不了在动态中刷屏般地发布美食照片。然而，我们很少用这些图片做什么，除了在手机上快速浏览一遍。
麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员认为，分析这类照片有助于我们学习食谱，并更好地了解人们的饮食习惯。在一篇与卡塔尔计算研究所（QCRI）合作发表的新论文中，团队训练了一套名为Pic2Recipe的人工智能系统，使其能够查看食物照片、预测食材并推荐相似食谱。
“在计算机视觉领域，食物大多被忽视，因为我们缺少作出预测所需的大规模数据集，”麻省理工学院博士后研究员、该系统论文的共同作者Yusuf Aytar说。他与麻省理工学院教授Antonio Torralba共同撰写了这篇论文。“但社交媒体上看似无用的照片，实际上能为健康习惯和饮食偏好提供宝贵的见解。”
这篇论文将于本月晚些时候在檀香山举行的计算机视觉与模式识别会议上发表。CSAIL研究生Nick Hynes与西班牙加泰罗尼亚理工大学的Amaia Salvador共同担任第一作者。共同作者还包括CSAIL博士后Javier Marin，以及QCRI科学家Ferda Ofli和研究总监Ingmar Weber。
运作原理
互联网推动了食品数据分类领域研究的大幅增长，但其中大多数研究使用的数据集规模小得多，这往往导致食品标注存在重大缺漏。
2014年，瑞士研究人员创建了“Food-101”数据集，并以此开发出一种算法，识别食物图像的准确率达到50%。后续版本仅将准确率提高到约80%，这表明数据集规模可能是一个限制因素。
即使是规模更大的数据集，在跨人群推广方面往往也有一定局限。香港城市大学的一个数据库包含超过110,000张图像和65,000份食谱，每份食谱都有食材清单和说明，但内容仅限于中国菜系。
CSAIL团队的项目旨在以这项工作为基础，大幅拓展其范围。研究人员搜集了All Recipes和Food.com等网站的资料，开发出“Recipe1M”数据库，其中包含超过100万份食谱，并标注了各种菜肴的食材信息。随后，他们用这些数据训练神经网络，以发现规律，并建立食物图像与相应食材和食谱之间的联系。
给定一张食物照片，Pic2Recipe能够识别面粉、鸡蛋和黄油等食材，然后推荐几份食谱；系统判定这些食谱与数据库中的图像相似。（团队提供了在线演示，供人们上传自己的食物照片进行测试。）
“可以想象，人们会用它来追踪每日营养摄入，或者在餐馆拍下自己的餐食，以便之后知道在家做这道菜需要什么，”维也纳MODUL大学新媒体技术系助理教授Christoph Trattner说。他没有参与这篇论文。“团队的方法达到了与人类判断相近的水平，这令人惊叹。”
由于甜点是数据库的主要类别之一，该系统在识别饼干或松饼等甜点方面表现尤其出色。不过，对于寿司卷和冰沙等含义不够明确的食物，它在判断食材时遇到了困难。
如果同一道菜有相似的食谱，系统也常常会感到棘手。例如，千层面有几十种做法，因此团队需要确保系统在区分不同食谱时，不会“惩罚”那些彼此相似的食谱。（一种解决办法是，在比较食谱本身之前，先查看它们的食材总体上是否相似。）
未来，团队希望改进系统，使其能够更细致地理解食物。这可能意味着能够推断食物的烹饪方式（例如炖煮还是切丁），或区分不同种类的食材，例如蘑菇或洋葱。
研究人员还考虑将该系统开发成一款“晚餐助手”，根据饮食偏好和冰箱里的食材清单，帮人们决定做什么菜。
“如果人们没有明确的营养信息，这有望帮助他们弄清楚食物里含有什么，”Hynes说。“例如，如果你知道一道菜用了哪些食材，但不知道用量，可以拍张照片，输入这些食材并运行模型，找到一份用量明确的相似食谱，再利用这些信息估算自己这顿饭的用量。”
该项目部分由QCRI、欧洲区域发展基金（ERDF）以及西班牙经济、工业和竞争力部资助。
