什么让图像令人难忘?

什么让图像令人难忘?
本内容由人工智能自动翻译。

本文与 MIT News合作发布。

麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)的研究人员开发出一种算法,能够以几乎接近人类的准确度预测图像令人难忘或易被遗忘的程度。研究团队计划将其开发成一款应用程序,对照片进行细微调整,使其更易被记住。

对于每张照片,“MemNet”算法——您可以 在线 上传自己的照片进行体验——该算法还会生成一张热图,精确标出图像中哪些部分最易被记住。

“理解记忆性有助于我们构建能够捕捉最重要信息的系统,或者相反,用于存储人类最可能遗忘的信息,”CSAIL研究生Aditya Khosla说道,他是一篇相关论文的第一作者。“这就像拥有一个即时焦点小组,能告诉你某条视觉信息会被人记住的可能性有多大。”

团队成员设想了多种潜在应用:从改进广告和社交媒体帖子的内容,到开发更有效的教学资源,再到打造个人专属的“健康助手”设备,帮助您记住各种事情。

该项目的一部分是,团队还发布了全球规模最大的图像记忆性数据集LaMem。该数据集包含60,000张图像,每张都标注了关于流行度和情感影响等特质的详细元数据。LaMem是团队为推动这一研究所做的努力,团队表示,图像记忆性在计算机视觉领域常常研究不足。

该论文由CSAIL研究生Akhil Raju、Antonio Torralba教授以及首席研究科学家Aude Oliva共同撰写,其中Oliva担任该项工作的资深研究员。Khosla将于本周在智利举行的国际计算机视觉大会上介绍该论文。

工作原理

此前,团队曾为 面部记忆性开发过类似算法。这一新算法值得注意之处在于,除了现已能够接近人类水平之外,它还采用了“深度学习”技术。深度学习是人工智能的一个领域,它利用称为“神经网络”的系统,让计算机自行梳理海量数据以寻找规律。

苹果的Siri、谷歌的自动补全功能以及Facebook的照片标签功能,都依托此类技术实现,这些技术也促使这些科技巨头在深度学习初创企业上投入了数亿美元。

“尽管深度学习在物体识别和场景理解方面推动了大量进展,但预测人类记忆通常被视为一种更高层次的认知过程,计算机科学家永远无法攻克,”Oliva说,“好吧,我们可以做到,而且我们已经做到了!”

神经网络在无需任何人工指导的情况下关联数据,无需了解潜在的成因或关联可能是什么。它们由多层处理单元组成,每层依次对数据执行随机计算。随着网络接收到更多数据,它会自我调整,以做出更准确的预测。

团队将数万张图像输入其算法,这些图像来自多个不同数据集,包括LaMem以及以场景为导向的 SUN 和 Places (这些数据集均由CSAIL开发)。每张图像都根据人类受试者在线实验中记住它的能力,获得了一个“记忆性评分”。

随后,团队让其算法与人类受试者展开对比:让模型预测一组人会对一张全新的、从未见过的图像有多大的记忆性。该算法的表现比现有算法高出30%,并且与人类平均水平仅相差几个百分点。

对于每张图像,该算法都会生成一张热图,显示图像中哪些部分最易被记住。通过突出不同区域,研究人员有望提升图像的记忆性。

“CSAIL的研究人员此前已对人脸进行过此类操作,但我很惊讶他们能将其扩展到一般图像,”说道: Alexei Efros,加州大学伯克利分校计算机科学副教授。“虽然你可以相对轻松地改变人脸的外观,比如让它更‘笑眯眯’,但要对所有图像类型进行概括则困难得多。”

展望未来

这项研究还意外揭示了人类记忆的本质。Khosla表示,他曾想知道,如果只向受试者展示最易被记住的图像,他们是否会记住所有内容。

“人们可能会认为,他们会像以前一样适应并遗忘同样多的事物,但我们的研究表明并非如此,”他说。“这意味着,如果我们向人们展示易于记住的图像,或许就能提升他们的记忆力。”

团队下一步计划尝试更新该系统,使其能够预测特定个人的记忆,并针对零售服装和标志设计等具体的“专业行业”进行更好的定制。

“这类研究让我们更好地理解人们关注的视觉信息,”Efros说,“对于营销人员、电影制作人和其他内容创作者而言,能够在人们观看某物时对其心理状态进行建模,是一个令人兴奋的新探索方向。”

该研究获得了美国国家科学基金会的资助,以及McGovern Institute神经技术项目、CSAIL的MIT大数据计划、谷歌和Xerox的研究奖项,以及英伟达的硬件捐赠。

发表本文并不意味着世界经济论坛认同其中的观点。

要及时了解《议程》动态, 请订阅我们的每周通讯。

作者:Adam Conner-Simons是麻省理工学院(MIT)的传播协调员。

图片:艺术家Olafur Eliasson打造的巨型太阳装置。路透社/Peter MacDiarmid。

分享:

授权与转载
世界经济论坛发布的文章,可依据《知识共享署名-非商业性使用-禁止演绎4.0国际公共许可协议》以及我方《使用条款》进行转载。 本文所表达的观点仅代表作者个人立场,并不代表世界经济论坛的观点。