很少有什么事情比社交媒体用户更热衷于在动态中大量发布食物照片了。然而，我们很少把这些图片用于超出手机上快速滑动浏览之外的用途。
麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员认为，分析这类照片有助于我们学习食谱，并更好地了解人们的饮食习惯。在与卡塔尔计算研究所卡塔尔计算研究所（QCRI）合作的一篇新论文中，研究团队训练了一套名为Pic2Recipe的人工智能系统，使其能够观察食物照片，预测其中的食材，并推荐相似的食谱。
“在计算机视觉领域，食物大多被忽视，因为我们没有进行预测所需的大规模数据集，”麻省理工学院博士后研究员尤苏夫·艾塔尔（Yusuf Aytar）说道。他与麻省理工学院教授安东尼奥·托拉尔巴（Antonio Torralba）共同撰写了一篇关于该系统的论文。“但社交媒体上看似无用的照片，实际上可以为了解健康习惯和饮食偏好提供宝贵的洞察。”
该论文将于本月晚些时候在檀香山举行的计算机视觉与模式识别会议上发表。CSAIL研究生尼克·海因斯（Nick Hynes）为第一作者，与西班牙加泰罗尼亚理工大学的阿玛亚·萨尔瓦多（Amaia Salvador）共同完成。合著者包括CSAIL博士后研究员哈维尔·马林（Javier Marin），以及QCRI科学家费尔达·奥夫利（Ferda Ofli）和研究主任英格马尔·韦伯（Ingmar Weber）。
工作原理
网络推动了食物数据分类领域研究的大幅增长，但其中大多数研究使用的数据集规模要小得多，这往往导致食物标注出现严重缺口。
2014年，瑞士研究人员创建了“Food-101”数据集，并利用它开发了一种算法，能够以50%的准确率识别食物图像。后续迭代版本仅将准确率提升至约80%，这表明数据集的规模可能是一个限制因素。
即便是规模更大的数据集，在跨人群泛化能力方面往往也存在一定局限。香港城市大学的一个数据库拥有超过11万张图片和6.5万份食谱，每份食谱均附有食材清单和做法说明，但其内容仅涵盖中式菜肴。
CSAIL团队的项目旨在以这项工作为基础，并大幅扩展其范围。研究人员搜集了All Recipes和Food.com等网站的内容，构建了“Recipe1M”数据库，其中包含超过100万份食谱，并标注了各类菜肴的食材信息。随后，他们利用这些数据训练神经网络，以发现规律，并建立食物图像与对应食材及食谱之间的关联。
给定一张食物照片，Pic2Recipe能够识别出面粉、鸡蛋和黄油等食材，然后推荐若干份其判定与数据库中图像相似的食谱。（该团队已提供在线演示，用户可上传自己的食物照片进行测试。）
“人们可以设想，利用这一技术来追踪每日营养摄入，或者在餐厅为餐食拍照，之后便知道在家烹饪所需的食材。”维也纳MODUL大学新媒体技术系助理教授克里斯托夫·特拉特纳（Christoph Trattner）说道。他未参与该论文的研究。“该团队的方法所达到的水平与人类判断相近，这一点非常了不起。”
该系统在处理饼干或松饼等甜点时表现尤为出色，因为这类食物是数据库中的主要主题。然而，对于寿司卷和冰沙等更为模糊的食物，系统在判定其食材方面存在困难。
当同一道菜存在多种相似食谱时，系统也常常无法作出准确判断。例如，制作千层面的方法有数十种，因此团队需要确保系统在区分不同食谱时，不会“惩罚”相似的食谱。（解决这一问题的一种方法是，在比较食谱本身之前，先检查各食谱的食材总体上是否相似。）
未来，团队希望改进该系统，使其能够更加细致地理解食物。这可能意味着系统能够推断食物的烹饪方式（例如炖煮与切丁），或区分蘑菇或洋葱等食物的不同品种。
研究人员还有意将该系统开发成一个“晚餐助手”，即根据用户的饮食偏好和冰箱中的食材清单，判断应当烹饪什么菜肴。
“这有可能帮助人们在没有明确营养信息的情况下，弄清楚自己的食物中含有什么，”海因斯说道。“例如，如果你知道一道菜用了哪些食材，但不知道用量，你可以拍一张照片，输入食材，然后运行模型，找到一份用量已知的相似食谱，再利用这些信息来估算你自己的餐食。”
该项目部分资金来自QCRI，以及欧洲区域发展基金（ERDF）和西班牙经济、工业和竞争力部。
