OpenAI成功阻止五起秘密操纵行动

摘要: 在过去的三个月中，OpenAI中断了五项秘密影响力（IO），试图利用公司的模型在线欺骗性活动。截至2024年5月，由于Openai的服务，这些活动尚未显示出观众参与或覆盖范围的大幅度增加。

OpenAI成功阻止五起秘密操纵行动

OpenAI在过去三个月成功阻止了五起秘密操纵行动，这些行动试图利用公司的模型进行在线欺骗活动。截至2024年5月，由于OpenAI的服务，这些活动并未显示出观众参与度或覆盖范围的显著增加。

OpenAI声称，其致力于设计以安全为首要考虑因素的AI模型，经常挫败了威胁行为者生成所需内容的尝试。此外，该公司表示，AI工具提高了OpenAI调查的效率。

阻止秘密操纵行动

在过去的三个月里，OpenAI利用其模型阻止了几起操纵行动，这些行动涉及生成简短评论、创建虚假社交媒体资料、进行开源研究、调试简单代码和翻译文本等各种任务。

具体被阻止的行动包括：

• Bad Grammar: 一起来自俄罗斯的未经报道的行动，针对乌克兰、摩尔多瓦、波罗的海国家和美国。该组织利用OpenAI的模型为运行Telegram机器人调试代码，并在Telegram上发布俄语和英语的政治评论。
• Doppelganger: 另一起俄罗斯行动，在X和9GAG等平台上生成多种语言的评论，翻译和编辑文章，生成标题，并将新闻文章转换为Facebook帖子。
• Spamouflage: 一家中国网络使用OpenAI的模型进行公开社交媒体活动研究，生成多种语言的文本，并调试用于管理数据库和网站的代码。
• International Union of Virtual Media (IUVM): 一起伊朗行动生成和翻译长篇文章、标题和网站标签，并发布在链接网站上。
• Zero Zeno: 一家以色列的商业公司，进行生成文章和评论的操作，发布在包括Instagram、Facebook、X和关联网站在内的多个平台上。

这些行动发布的内容涵盖了俄罗斯入侵乌克兰、加沙冲突、印度选举、欧洲和美国政治以及对中国政府的批评等各种问题。

尽管这些努力，由于OpenAI的模型，这些行动都没有显示出观众参与度的显著增加。使用Brookings的突破规模 – 评估秘密操纵行动的影响 – 这五起行动都没有得分高于2，表明在多个平台上活动但没有进入真正的社区。

攻击者趋势

对这些操纵行动的调查揭示了几个趋势：

• 内容生成: 威胁行为者利用OpenAI的服务生成大量文本，比人类操作员能够实现的语言错误更少。
• 新旧混合: AI与传统格式一起使用，比如手动撰写的文本或复制的表情包。
• 伪造参与: 一些网络生成对自己帖子的回复，以营造参与的假象，尽管没有成功吸引真正的参与。
• 提高生产力: 威胁行为者利用AI提高生产力，总结社交媒体帖子和调试代码。

防御趋势

OpenAI的调查受益于行业共享和开源研究。防御措施包括：

• 防御性设计: OpenAI的安全系统对威胁行为者施加了摩擦，通常阻止他们生成所需内容。
• AI增强调查: 基于AI的工具提高了检测和分析的效率，将调查时间从几周或几个月缩短为几天。
• 分发至关重要: 与传统内容一样，IO内容必须有效分发才能触及观众。尽管他们的努力，没有一起被阻止的行动取得了实质性的参与。
• 行业共享的重要性: 与行业同行分享威胁指标增加了OpenAI阻止行动的影响。该公司受益于更广泛研究社区多年的开源分析。
• 人为因素: 尽管使用了AI，威胁行为者容易出现人为错误，比如在他们的社交媒体和网站上发布OpenAI模型的拒绝消息。

OpenAI表示将继续致力于开发安全和负责任的AI。这包括设计以安全为首要考虑因素的模型，并积极干预恶意使用。

(图片由Chris Yang提供)