科技新闻：社交媒体平台在内容审核中的失败

摘要: 您知道，当您同时激怒了白宫，年度时代的人，而流行文化最狂热的粉丝群时，您已经搞砸了。那是

科技新闻：社交媒体平台在内容审核中的失败

上周，拥有埃隆·马斯克的社交媒体平台X（之前叫Twitter）上出现了由人工智能生成的深度伪造色情图片，这一事件同时激怒了白宫、《时代》年度人物和流行文化中最狂热的粉丝群体。其中一篇非自愿的深度伪造帖子被浏览了4500万次，获得了数十万个赞。更不用说所有转发这些图片的账号了，一旦一张图片被广泛传播，就几乎不可能删除。

X平台缺乏快速准确识别滥用内容的基础设施。即使在Twitter时代，这个问题也很难解决，但自从马斯克解雇了Twitter的大部分员工，包括大部分的信任和安全团队后，情况变得更糟了。因此，泰勒·斯威夫特庞大而热情的粉丝群体采取了行动，通过搜索“泰勒·斯威夫特人工智能”和“泰勒·斯威夫特深度伪造”等关键词，淹没了搜索结果，使用户更难找到这些滥用的图片。白宫新闻秘书呼吁国会采取行动，而X平台则只是在几天内禁止了搜索词“泰勒·斯威夫特”。当用户搜索这位音乐家的名字时，会看到一个错误提示。

这次内容审核失败成为了国家新闻，因为泰勒·斯威夫特是泰勒·斯威夫特。但如果社交平台无法保护世界上最著名的女性之一，那么他们还能保护谁呢？

“如果你像泰勒·斯威夫特一样遭遇到这种情况，就像很多人一样，你可能不会得到相同数量的支持，这意味着你无法获得这些非常重要的关爱社区的支持，”英国Northumbria大学数字公民中心的研究员卡罗琳娜·阿尔博士告诉TechCrunch。“而这些关爱社区是大多数用户在这些情况下不得不求助的，这真的显示了内容审核的失败。”

禁止搜索词“泰勒·斯威夫特”就像在破裂的管道上贴一张胶带。有许多明显的变通方法，就像TikTok用户搜索“seggs”而不是“sex”一样。这种搜索限制只是X平台为了让人们觉得他们在做些什么，但并不能阻止人们搜索“t swift”。Copia Institute和Techdirt创始人迈克·马斯尼克称这种努力为“信任与安全的大锤版本”。

“当涉及到给女性、非二元人和酷儿人士在他们的身体上拥有主动权时，平台做得很糟糕，所以他们复制了线下的滥用和父权制度，”阿尔说。“如果你的审核系统无法在危机中做出反应，或者如果你的审核系统无法满足用户在报告出现问题时的需求，我们就有问题了。”

那么，X到底应该如何防止泰勒·斯威夫特的惨剧发生呢？阿尔在她的研究中提出了这些问题，并建议社交媒体平台对个人用户在账户决策或举报其他账户方面更加透明。

“你无法访问案件记录，尽管平台确实可以访问这些材料，他们只是不想公开，”阿尔说。“我认为在滥用问题上，人们需要更个性化、更具上下文和更快速的反应，这至少需要直接沟通。”

X本周宣布将在德克萨斯州奥斯汀市设立一个新的“信任与安全”中心，雇佣100名内容审核员。但在马斯克的领导下，该平台没有为保护边缘用户免受滥用树立一个强有力的先例。同时，很难相信马斯克的承诺，因为他在兑现承诺方面有着长期的失败记录。当他刚刚购买Twitter时，马斯克宣布将成立一个内容审核委员会，然后再做重大决策。但这并没有发生。

在AI生成的深度伪造方面，责任不仅仅在社交平台上，还在于那些创建面向消费者的生成AI产品的公司。

根据404 Media的调查，对斯威夫特的滥用描绘来自一个致力于创建非自愿的深度伪造图片的Telegram群组。该群组的用户经常使用微软的Designer工具，该工具利用Open AI的DALL-E 3根据输入的提示生成图像。在微软解决这个漏洞之前，用户可以通过编写诸如“泰勒‘歌手’斯威夫特”或“詹妮弗‘演员’安妮斯顿”之类的提示来生成名人的图片。微软的首席软件工程师Shane Jones给华盛顿州检察官写了一封信，称他在去年12月发现了DALL-E 3的漏洞，使其可以“绕过一些旨在防止模型创建和分发有害图片的防护措施”。

Jones向微软和OpenAI报告了这些漏洞，但两周后，他没有收到任何迹象表明问题正在得到解决。因此，他在LinkedIn上发布了一封公开信，敦促OpenAI暂停提供DALL-E 3。Jones向微软报告了他的信，但很快被要求删除。

“我们需要让公司对其产品的安全性负责，并向公众披露已知风险的责任，”Jones在给州检察官的信中写道。“像我这样的员工不应该被恐吓而保持沉默。”

在全球最有影响力的公司大力投资人工智能的时代，社交平台需要采取积极的方式来监管滥用内容，但即使在制作名人深度伪造图片不那么容易的时代，违规行为仍然很容易逃避审核。

“这真的表明平台是不可靠的，”阿尔说。“边缘化的社区必须比那些技术上负责我们在线安全的人更加信任他们的追随者和其他用户。”