印度近期结束的联邦选举为关注人工智能生成虚假信息的人们提供了诸多经验教训。
根据《2024年全球风险报告》，虚假信息和错误信息是短期内最大的风险。
深度伪造分析小组（DAU）是印度一项独特的资源，公众可通过WhatsApp频道分享内容，以核实其真实性。
印度近期联邦选举期间的热潮已经退去，但对于我们这些关注AI生成虚假信息兴起的人而言，仍有宝贵的经验教训。误导性信息或虚假信息与社会动荡之间的关联，将在未来两年多个主要经济体的选举中占据核心位置，世界经济论坛的《2024年全球风险报告》中对此已有阐述。
深度伪造分析小组（DAU）——在“打击虚假信息联盟”的支持下设立——打击虚假信息联盟是一项独特的资源，通过WhatsApp举报热线与印度公众互动。用户可以分享疑似全部或部分由人工智能生成的误导性或有害音频和视频内容。
该项目于2024年3月启动，距印度大选首轮投票不到一个月。自启动以来，举报热线已接收并审核了数百个独特的音频和视频文件（不含图片）。视频是我们收到内容的主体，且已检测到不同程度地使用了生成式人工智能。
合成媒体有哪些不同类型？
DAU的工作遵循一套不断演进的定义体系，这些定义帮助我们将音频和视频内容分类为“深度伪造”（使用人工智能创建）、“廉价伪造”（使用基础编辑软件创建）、“经过篡改”或“人工智能生成”，每一类别均表明生成式人工智能在内容中的使用方式。
并非所有人工智能生成的内容都是深度伪造，因为这些内容未必有害或具有误导性，并且可能是在所涉主体同意的情况下制作的。与可能被轻易误认为真实内容的深度伪造相比，廉价伪造的制作质量较差。
合成媒体的目标人群是谁？
我们的分析表明，政界人士、知名商界人士、演员和新闻主播是心怀恶意、试图利用人工智能操纵或制作视频和音频的人的主要目标。利用知名面孔包装虚假信息，可能会增加人们上当的可能性，例如在宣传金融诈骗的视频中使用商界人士形象。
在某些情况下，人们会使用人工智能工具改变主体的唇部动作，使合成语音即便不完全吻合，也能与其唇部动作相匹配。这一概念被称为“唇形同步深度伪造”，有时可能涉及使用人工智能重建主体的嘴部。模糊的嘴唇或异常的牙齿，是分析视频以核实真伪时需要留意的几个迹象。
我们通过举报热线收到了多段视频，这些视频使用了较为简单的人工智能工具，制造出政界人士说出宝莱坞电影台词的形象。其他一些例子还包括将宝莱坞演员的面孔与政界人士的面孔进行融合或替换，同时保留原始视频中的其他元素。
如何辨别深度伪造？
每当用户连接举报热线时，机器人都会引导其分享可疑的音频或视频以供分析；在此过程中，用户还可以通过短视频学习一些辨别合成媒体的技巧和窍门，这些视频共提供四种语言版本（英语、印地语、泰米尔语和泰卢固语）。
DAU会仔细审核发送至举报热线的每一段音频和视频，以核实其真实性。如果怀疑存在任何人工智能成分，DAU会通过现有及探索性合作关系获得的多种人工智能检测工具进行检测，并辅以一些免费工具。
世界经济论坛如何为人工智能建立护栏？
人工智能卓越中心汇聚各行业领导者，共同理解人工智能的快速发展及其对经济和社会的影响。该中心支持围绕人工智能应用所带来的机遇、风险和权衡取舍开展知情对话。
通过可信赖的交流平台和协作倡议，该中心助力合作伙伴建立共同认知，并携手推动人工智能创新与应用的负责任实践。
如果至少有三种工具表明某段内容存在人工智能操纵，DAU会将其提交至取证与检测合作伙伴以获取专家分析。收到分析结果后，DAU会撰写一份评估报告，并将其发布在官方网站上，同时把报告发送给提交该音频或视频的用户。这些详细报告通过确认内容为合成或真实，纠正了公共记录。这些报告的方法论中融入了一套关于如何辨别合成媒体的速成课程。
如何遏制深度伪造？
协作是支撑DAU运作能力的基础。在我们与合作事实核查机构分享分析结果的同时——这些机构包括印度12家跨多种语言工作的媒体机构——我们还会将其事实核查结果纳入发送给举报热线用户的评估报告中，因为DAU的职责是核实真伪，而非进行事实核查。
我们依靠合作伙伴的专业能力进行内容翻译，并评估区域性虚假信息的趋势。
我们的使命是扩充合作伙伴名单，以便为印度乃至全球的事实核查生态系统做出贡献。我们的协作方式已开始产生影响——例如，我们向ElevenLabs提交的情况升级，促使其封禁了一批滥用其工具生成合成语音以传播虚假信息的用户。
迄今所获得的经验教训？
在选举周期内，我们发现深度伪造有所减少，但使用合成音轨篡改的视频增多了。还有许多廉价伪造使用了人工智能语音，但视觉部分并未使用生成式人工智能。这些廉价伪造是一种普遍存在的虚假信息，亟需加以打击。
全部或部分由人工智能生成的音频更难识别，因为工具有时在准确识别人工智能生成语音方面能力有限，尤其是当音轨中混入背景噪声或音乐时。无论是独立音频还是视频中的音轨，情况均是如此。
我们致力于教育举报热线用户，并为关于识别和标注人工智能生成内容最佳实践的公共讨论贡献力量。我们邀请学者、检测专家和社交媒体平台就如何统一定义提供反馈意见。或许，全球数字安全联盟制定的“网络危害类型学”可作为参考，助力建立全球性的行业标准，对此类内容进行标注，以便迅速应对有害及误导性的人工智能生成内容。
DAU正在积累的经验教训，将在即将到来的印度邦级选举中发挥至关重要的作用，在那里，人工智能操纵的威胁只会加剧语言多样性和地方背景所带来的虚假信息挑战。
在这个选举的“超级年”里，这些经验教训也将惠及世界上许多有意了解选举周期中人工智能可能被滥用方式的国家。其应对策略依然不变：不良行为者利用生成式人工智能进行伤害和误导，唯一的区别在于他们能否获取先进的人工智能技术。
