一部讲述两名气候活动人士的影片运用机器学习技术,根据观众的情绪反应调整故事。
影片通过电脑摄像头和软件,在观众观看气候灾害影像并被含蓄地提出棘手问题时,实际上对他们进行观察。
本文中,影片导演分享了他的叙事方式,以及他对互动技术的看法:这种技术可以拓展电影制作人的工具。
大多数电影提供的观影体验完全相同。你坐下来,电影开始,剧情展开,你跟随屏幕上的情节,直到故事结束。这是一种线性体验。我的新电影,《Before We Disappear》——讲述两名气候活动人士向导致全球变暖的企业罪魁祸首复仇——旨在改变这种观影体验。
我的电影与众不同之处在于,它会根据观众的情绪反应调整故事。通过电脑摄像头和软件,影片实际上会观察观众观看气候灾害影像时的反应。观众会被含蓄地要求选择立场。
我选择用这项技术拍摄一部关于气候危机的电影,希望人们认真思考,为了一个能够生存下去的未来,他们愿意牺牲什么。
讲故事向来具有互动性:传统的口述故事讲述者会与听众互动并回应他们。近一个世纪以来,电影导演一直在尝试互动叙事——过去十年,互动内容迅速激增。
流媒体服务让观众有机会选择自己的冒险故事。然而,让观众控制剧情发展长期以来一直是个难题:这与叙事沉浸感相悖,因为叙事沉浸感意味着观众被带入故事创造的世界。
近期最引人注目的互动电影实验之一,Netflix 的《黑镜:潘达斯奈基》清楚地说明了这一点。在这部作品中,剧情会停下来询问用户下一步该怎么做——打断故事的连贯性,并让观众主动参与。如何解决沉浸体验被打断的问题,仍是探索互动电影的艺术家面临的关键问题。
我创作和执导的电影采取了另一种方式,借助无意识控制,在观众观看时影响影片。我此前的脑控电影《The Moment》(2018)和《The Disadvantages of Time Travel》(2014)使用了脑机接口(BCI)。这类系统利用计算机分析大脑的电信号,让人们实际上能够用意念控制设备。
观众利用这些来自大脑的数据,无意识地剪辑影片,从而实时强化影片各自讲述的科幻反乌托邦故事,以及一个游荡、沉浸于白日梦的心灵故事。
然而,脑机接口需要专用设备。拍摄《Before We Disappear》时,我希望使用观众更容易获得的技术,让影片可以通过互联网分享。
掌控叙事
《Before We Disappear》使用普通电脑摄像头读取情绪线索,并据此实时剪辑影片。要实现这一点,我们需要充分了解人们对电影的反应。
我们开展了几项研究 ,探究电影制作人意图唤起的情绪,以及观众观看时如何通过面部表情呈现情绪。我们采用合作伙伴BlueSkeye AI提供的计算机视觉和机器学习技术,分析观众观看电影片段时的面部情绪和反应,并开发了几种算法,利用这些数据控制叙事。
我们观察到,观众看电影时通常不会表现出很强烈的情绪,但 BlueSkeye 的面部和情绪分析工具足够灵敏,能够捕捉细微变化和情绪线索,从而根据观众的反应调整影片。
分析软件会测量面部肌肉运动以及情绪唤起的强度——也就是观众在某一时刻感受到的情绪强烈程度。软件还会评估情绪的正负面倾向——我们称之为“效价”。
我们正在试验各种算法,让情绪唤起和效价数据参与实时剪辑决策,从而使故事重新编排。第一个场景作为基准,后续场景会与之比较。根据观众的反应,叙事将呈现约500种可能的剪辑版本之一。在《Before We Disappear》中,我采用非线性叙事,为观众提供不同的结局和情绪历程。
情绪历程
我认为互动技术可以拓展电影制作人的工具,帮助他们进一步讲述故事,让影片适应每位观众,同时挑战并分散导演的权力。
世界经济论坛如何确保人工智能以合乎伦理的方式发展?
然而,情绪反应可能遭到滥用,也可能产生意想不到的后果。不难想象某个在线系统只向用户展示能够引发积极情绪的内容。这可能形成回音室,让人们只看到符合自己既有偏好的内容。
它也可能被用于宣传。剑桥分析公司丑闻表明,大量个人信息如何从 Facebook 收集并用于政治广告。
我们的研究旨在引发讨论:如何在获得知情同意的前提下负责任地使用用户的情绪数据,同时让用户掌控自己的个人信息。在我们的系统中,数据会在用户的设备上分析,而不是存储在云端之类的地方。
大生意,大责任
无意识互动是一门大生意。诸如TikTok和YouTube这样的平台会分析用户过去在平台上的互动,以影响他们接下来看到的新内容。用户并不总是知道自己的哪些个人信息正在生成或存储,也无法影响算法下一步会向他们推荐什么。
建立一个不存储观众数据的系统至关重要。观众的视频或面部表情数据不应上传到播放设备以外的任何地方,也不应在那里接受分析。我们计划以互动应用的形式发布这部电影,充分考虑用户数据可能遭到滥用的风险,并保护用于观看影片的设备上的任何个人数据。
自适应电影为传统的“选择自己的冒险”式叙事提供了一种替代方式。当故事根据观众无意识的反应而非有意的互动发生变化时,观众的注意力就能留在故事之中。
这意味着他们可以获得更加个性化的观影体验。事实证明,古老的讲故事传统在21世纪或许仍有许多值得我们学习之处。







