麻省理工学院信息与决策系统实验室（LIDS）的 Devavrat Shah 团队专长于分析社交网络如何处理信息。2012年，该团队展示了能够提前最多五小时 预测哪些话题 会在 Twitter 上成为趋势的算法；今年，他们使用同一框架 预测 了被称为比特币的在线货币价格波动。
下个月，在神经信息处理系统大会上，他们将发表一篇论文，把其模型应用于人们熟悉的亚马逊和 Netflix 等网站的推荐引擎，并得出了令人惊讶的结果。
“我们感兴趣的是，我们有一个很好的模型，可以理解社交数据中的数据处理，”电气工程与计算机科学系 Jamieson 副教授 Shah 说。“从人们如何做决定、表现偏好或采取行动的角度看，这个模型是讲得通的。所以我们想利用它，设计一种更好、更简单、更基础的推荐算法，而且它会与众不同。但结果证明，在这个模型下，标准推荐算法恰恰是正确的做法。”
这种标准算法称为“协同过滤”。要了解它的工作方式，可以设想一种电影流媒体服务，用户可以为看过的电影评分。为了生成专门针对你的推荐，算法会先根据其他用户的评分与你的评分重合程度，为他们计算相似度分数。然后，为了预测你对某部特定电影的反应，算法会汇总其他用户给这部电影的评分，并按相似度分数加权。
为了简化分析，Shah 和他的合作者——LIDS 博士后 Guy Bresler，以及麻省理工学院电气工程与计算机科学系（EECS）研究生、由 Shah 和 EECS 副教授共同指导的 Polina Golland ——假设评分系统只有两个值：赞或踩。因此，每位用户的口味都可以用一串 1 和 0 来精确描述，字符串中的位置对应一部特定电影，该位置上的数字则表示评分。
物以类聚
麻省理工学院研究人员的模型假设，这类字符串可以聚类成若干大型群组，并且可以用概率来描述这些群组。概率聚类模型不再在字符串的每个位置使用 1 和 0，而是使用概率：群组成员有 80% 的可能喜欢电影“A”，有 20% 的可能喜欢电影“B”，依此类推。
问题在于，需要多少个这样的群组才能刻画一个人群。如果喜欢《虎胆龙威》的人中有一半也喜欢《莎翁情史》，而另一半讨厌它，那么理想情况下，应该把《虎胆龙威》的粉丝分成两个群组。否则，就会丢失他们偏好之间可能对预测有用的相关性。另一方面，群组越多，就越需要更多评分来判断某位用户属于哪个群组。要从有限数据中作出可靠预测就会变得不可能。
在这篇新论文中，麻省理工学院研究人员表明，只要刻画人群差异所需的群组数量较少，协同过滤就能得出近乎最优的预测。但在实际中，这个数量要少到什么程度？
为了回答这个问题，研究人员考察了一家电影流媒体网站 1000 万名用户的数据，并找出其中 200 名为相同 500 部电影打过分的用户。他们发现，事实上，只需五个群组——五个概率模型——就足以解释人群中的大部分差异。
缺失的关联
研究人员的模型不仅证实了协同过滤的有效性，也提出了改进方法。一般而言，协同过滤算法掌握的用户偏好信息越多，预测就越准确。但并非所有新增信息都同样有用。如果某位用户喜欢《教父》，那么他也喜欢《教父2》这一信息，可能不如他也喜欢《恋恋笔记本》这一信息具有预测力。
LIDS 的研究人员利用其分析框架，展示了如何选出少量能够承载用户口味中不成比例的大量信息的产品。如果服务提供商向所有客户推荐这些产品，那么根据由此产生的评分，它就能更高效地将用户划分到概率群组中，从而有望提高推荐质量。
德克萨斯大学奥斯汀分校电气与计算机工程副教授 Sujay Sanghavi 认为，这是这项研究最有趣的方面。“如果你进行某种协同过滤，就会发生两件事，”他说。“作为用户，我从中获益，但其他人也能获益。这两者之间可能存在取舍。如果有一部热门电影，你很容易就能证明我会喜欢它，但这并不会改善对其他人的推荐。”
Sanghavi 说，这种取舍“曾在实证层面得到考察，但一直缺乏有原则的方法。在我看来，这篇论文的吸引力在于，他们以有原则的方式审视了这一问题，而此前没有其他研究这样做。他们发现了一类新问题，也在考察一个新的议题。”
经合作发布： 麻省理工学院新闻
作者：Larry Hardesty 是麻省理工学院新闻的特邀撰稿人。
图片：一幅插图显示，2013年6月24日，在华沙的一间办公室里，一名手持笔记本电脑的男子的身影周围投射着二进制代码。路透社/Kacper Pempel