活动人士和记者在社交媒体平台上日益遭到压制和噤声。
边缘化群体用户的内容因算法和人工智能中的偏见，而被不公平且不成比例地列为删除目标。
在技术设计阶段实施的三项原则，可以减少伤害、终结数字镇压，并追究某些行为者和平台对已记录的不公和人权侵犯进行审查的责任。
我们大多数人无法完全了解任何一个国家可能存在的不公、冲突、压迫或暴力。我们依赖公民活动人士和记者作为我们的耳目。
然而，在过去的一年里，我们看到社交媒体和其他平台上对个人、原住民社区和弱势群体的审查达到了前所未有的程度。这些平台上的活动人士和记者日益遭到压制和噤声，甚至几乎被隐形。
与此同时，不公行为的施害者却逍遥法外，还因点击和点赞而获得回报。
更为复杂的是，数字通信平台运行于以最大化用户参与度为目标编程的算法之上，这些算法往往倾向于推送引人注目的煽动性内容。平台还利用人工智能删除任何违反社区准则条款（如仇恨言论）的内容，并封禁不当账号。然而，这些流程可能对边缘化群体造成不成比例的影响，使其账号和内容——尤其是政治言论、冲突记录和异见——被不公平地列为删除目标。此外，自疫情开始以来，我们看到大量社交机器人在帖子上点赞、转发和评论，这可能会制造网络仇恨，并通过促进仇恨言论和虚假信息的传播、助长极端观点者的气焰，从而放大现有的仇恨言论和虚假信息。
为了解这一问题的规模，我们需要了解平台在删除有害内容方面的成效如何，以及在删除被认定为 有害、但实际上并非如此的内容方面的成效如何。Facebook和Instagram提供了部分 关于 其后已恢复的被删除内容的信息，但我们仍然难以得知有多少内容是被误删的。此外，目前对于何为“恐怖主义”或“有组织仇恨”，尚无统一的界定，而这两类正是自动标记系统用于验证内容删除的依据。
根据谷歌2021年1月至2021年6月的透明度报告，共有9,569,641个视频因违反YouTube社区准则而被删除。在被标记的视频中，95%是通过自动标记删除的，其中27.8%在获得任何观看量之前即被删除。Facebook 2021年1月至2021年3月的社区标准执行报告显示，Facebook删除了900万条被认定为“危险组织：恐怖主义和有组织仇恨”类别已采取行动的内容和2520万条被认定为仇恨言论的内容。Instagram删除了42.9万条恐怖主义内容和630万条仇恨言论内容。
这些数字的两难之处在于，其中也 包括以恐怖主义或仇恨言论的虚假名义被删除的活动人士和记者所分享的内容。
我们已经看到，这些问题可能对个人造成切实的身体、情感和政治伤害，例如Facebook和WhatsApp上针对穆斯林的仇恨言论和虚假信息助长了缅甸的种族灭绝。平台社区准则的模糊性以及缺乏共同定义，为自动标记系统的偏见、政府机构的数字镇压，以及对活动人士而非真正施害者的审查打开了方便之门。
边缘化群体：内容删除的目标
毋庸置疑，数字通信平台放大了社会正义事业，尤其是种族不公问题。在热门话题标签中，与种族不公相关的Instagram热门话题标签#blacklivesmatter和#endpolicebrutality有助于普及教育，并呼吁采取行动，反对国家认可的暴力和反黑人种族主义。尽管社交媒体巨头曾表示支持反种族主义运动，但其算法一直存在过度删除提高这些问题意识内容的记录。无论是人工智能错误地标记内容，还是审核人员无法应对海量煽动性语言，禁止此类内容都会导致历史上处于边缘地位的声音被压制。
2020年5月乔治·弗洛伊德遇害后，许多黑人活动人士报告称自己遭到审查，原因是他们在社交媒体上揭露种族主义政策并揭示历史不公。根据一项研究，该研究由华盛顿大学、卡内基梅隆大学和艾伦人工智能研究所开展，结果显示，用非裔美式英语写成的推文被标记为“仇恨言论”的可能性是其他推文的两倍。最近，在2021年5月以色列与巴勒斯坦之间爆发暴力冲突期间，Twitter和Facebook均不当屏蔽或限制了数百万条被错误地与恐怖主义相关联的亲巴勒斯坦帖子。
尽管算法已有所改进，但平台仍难以区分网络恐怖主义与坦率讲述真实歧视经历的人，而算法往往反映出支撑社会偏见的不平等现象。
案例研究：巴勒斯坦行动主义
在2021年5月加沙空袭期间，巴勒斯坦人及全球各地的支持者利用社交媒体迅速传播关键信息、分享经历并众筹救援。然而，许多账号被暂停，帖子被标记为不当内容，直播视频被屏蔽，内容的触达率也低于正常水平。冲突爆发后的头两周，超过500起的内容删除事件被报告给专注于社交媒体的非营利组织7amleh。平台将其归咎于技术故障，但倡导者则审视了与阿克萨清真寺、耶路撒冷谢赫贾拉赫社区及其他非暴力主题相关的帖子和话题标签被针对删除的方式，这使得许多阿拉伯人在更广泛的社交媒体生态中的经历被忽视。更让许多巴勒斯坦人感到沮丧的是，暗示暴力的以色列广告在YouTube上留存了数日，之后才被标记为删除。
尽管各公司已设立工作组并投入专门资源应对这些问题，但5月的情况反映出一种更为普遍的模式。
案例研究：哥伦比亚行动主义
总体而言，拉丁美洲国家在社会矛盾激化和抗议时期存在一个问题：我们看到，记录暴力、提高人权侵犯意识以及呈现街头镇压和侵权证据的关键内容，在网络上受到更多审查。
Veridiana Alimonti，电子前哨基金会（Electronic Frontier Foundation）拉丁美洲高级政策分析师
自2021年4月28日起，数千名抗议哥伦比亚日益加剧的不平等、贫困和国家暴力的民众遭到警方镇压。阻挠现实世界中异议的努力已延伸至网络世界，有关抗议的内容遭遇了网络中断和删除。
哥伦比亚当局发起了一场名为#Colombiaesmiverdad（“哥伦比亚是我的真相”）的运动，将反政府声音描绘为恐怖分子和破坏者——不仅在现实世界中，也在网络上。这实际上促使Instagram的算法标记并删除被视为“恐怖主义”或“仇恨言论”的内容，无论这些内容是否如实描绘了不公、犯罪和暴力。
在同一时期，Instagram Commons承认了删除问题，但许多活动人士和组织报告称，其内容仍遭到删除。哥伦比亚公民社会数字权利组织Karisma基金会执行董事Carolina Botero Cabrera表示：“我们收到了逾1000起审查报告，其中约90%来自Instagram，且内容绝大多数与抗议有关。”
自动化内容审核系统对言论自由构成重大威胁，并对边缘化和弱势群体、活动人士及记者造成不成比例的影响。即便缺乏对错误率的透明度，也可以清楚地看到，自动化系统无法理解语境，并且很容易被当局和虚假信息机器人操纵。若该问题得不到解决，它将继续在实地产生深远影响，尤其是在危机和内乱时期。
三项伦理技术设计原则
三项技术设计原则可用于：
减少网络危害及由此延伸的现实伤害
制止对活动人士和记者的数字镇压
追究某些行为者和数字通信平台对已记录的不公和人权侵犯进行审查的责任
原则一：服务提供者的责任
安全的负担不应完全落在最终用户身上。服务提供者可以采取预防措施，确保其服务不易助长或鼓励非法和不当行为。
原则二：用户赋权与自主
确保用户尊严至关重要，应将用户的最大利益作为首要考量，并通过功能、特性以及包容性设计方法，将用户赋权与自主作为服务体验的一部分加以保障。
原则三：透明与问责
透明与问责是稳健安全方法的标志。它们不仅能保证服务按照其公布的安全目标运行，还有助于教育和赋能用户，让其了解可采取哪些措施应对安全问题。
这些原则基于澳大利亚eSafety专员办公室（eSafety）的“安全由设计”（SbD）原则制定，并经过与60多个主要利益相关方群体的广泛磋商。制定这些原则时认识到，应在开发过程中主动考虑用户安全，而非在用户遭受网络伤害后再补充安全措施。
遗憾的是，数字不公现象存在于每个社会，而对开发、部署和使用伦理技术有切身利益的组织，有责任使人们难以借助技术实施危害和侵犯。
仅仅删除有害内容是不够的。如果活动人士在网上遭到彻底审查、在线下被边缘化，而受害者或幸存者仍需应对数字施害者造成的社会、声誉和心理创伤，那么内容删除的成功率就毫无意义。我们需要了解错误删除内容的错误率。我们需要制止对弱势群体、活动人士和记者的数字镇压。我们还需要追究数字不公施害者的责任。
以下为部分倡导数字正义并帮助受害者、幸存者和活动人士的领袖、组织及运动（非完整列表）：
世界经济论坛数据政策全球未来理事会正在牵头一项多方利益相关方倡议，旨在探讨这些问题，《数字正义之路》，并与媒体、娱乐与体育全球未来理事会及人工智能造福人类全球未来理事会合作开展该项目。如需了解更多信息，请联系Evîn Cheikosman，邮箱：evin.cheikosman@weforum.org。
