OpenAI 发布 CSAM 防护政策:明确禁止 AI 生成儿童性虐待内容并支持纽约州立法
OpenAI 公布针对儿童性剥削与虐待(CSAM/CSEM)的预防、检测及阻断策略,明确禁止利用其模型生成此类非法内容。该声明涵盖从部署前保护到生产环境监控的全流程,并公开支持纽约州相关立法以确立负责任报告的法律保护框架。
报道正文
本文目录4 个章节
为践行我们开发安全且有益的通用人工智能(AGI)的使命,我们致力于预防、检测并阻断任何利用我们的模型支持儿童性剥削和虐待的行为。我们在部署前以及生产环境的模型和产品中均纳入了保护机制,并承诺与政府、行业及专家合作伙伴共同有效防止 AI 生成的儿童性虐待材料(CSAM)和儿童性剥削材料(CSEM)的制作与传播。
用户被明确禁止将任何 OpenAI 服务用于非法活动,包括剥削、危害或对 18 岁以下未成年人进行性化。我们禁止将我们的服务用于以下用途:
-
CSAM,无论其中是否包含 AI 生成的部分;
-
对未成年人进行诱骗(grooming);
-
向未成年人展示不适合其年龄的内容,例如血腥的自残、性或暴力内容;
-
向未成年人推广不健康的节食或运动行为;
-
羞辱或以其他方式污名化未成年人的体型或外貌;
-
针对未成年人的危险挑战;
-
涉及未成年人的性或暴力角色扮演,以及未成年人获取受年龄限制的商品或活动。
这些政策同样适用于基于我们的技术开发应用程序的开发者:如果开发者正在构建面向未成年人的工具,则这些工具不得允许创建露骨或暗示性的性内容。我们监控我们的服务以发现违反这些政策的行为,并对被发现违规的用户和开发者实施封禁。
任何试图生成或上传 CSAM 或 CSEM 的用户都将被报告给 国家失踪与受剥削儿童中心(opens in a new window) (NCMEC),并被永久禁止使用我们的服务。如果我们发现开发者的用户试图生成或上传 CSAM 或 CSEM,我们会通知开发者,并给予他们通过在其应用中封禁问题用户来纠正问题的机会;如果开发者未能解决其应用中持续存在的问题行为模式,我们将对其实施封禁。一些因从事非法活动而被禁止使用我们产品的个人,会试图通过创建新账户来规避禁令。我们的调查团队会监控此类规避行为,并努力阻止不良行为者重返平台并利用我们的产品实施虐待。
我们以负责任的方式训练我们的 AI 模型
我们致力于负责任地获取训练数据集,以保护其免受基于图像的性侵害。我们在训练数据中检测并移除儿童性虐待材料(CSAM)和儿童性剥削材料(CSEM),并将任何确认的 CSAM 报告给相关当局,包括美国国家失踪与受虐儿童中心(NCMEC)。这一初步步骤旨在防止模型从一开始就具备生成 CSAM 或 CSEM 的能力。
我们协作开展滥用行为的检测、拦截与报告工作
我们的模型经过训练,不会在文本、图像、音频或视频方面生成有害输出,但仍有一些用户试图滥用我们的产品来生成有害内容。我们发现用户尝试通过提示词诱导模型创建 AI 生成的 CSAM,或生成看似旨在满足涉及未成年人的性幻想的内容。这些行为违反了我们的模型政策和使用政策,我们会监控服务使用情况以检测此类企图。
我们部署了监控和执行技术,以检测并阻止不良行为者违反政策利用我们的工具对儿童进行性化。这包括使用我们自己的模型更快速地检测潜在的滥用行为,并在整个行业内协作建立安全保障措施。我们使用哈希匹配(在新窗口中打开)技术,识别由内部儿童安全团队标记的已知 CSAM,或来自 Thorn(在新窗口中打开)经审核库中的已知 CSAM。我们还针对上传至我们产品的内容使用 Thorn 的 CSAM(在新窗口中打开)内容分类器,以检测可能的新兴 CSAM。
我们的儿童安全团队会将所有 CSAM 实例(包括上传内容和请求)报告给 NCMEC(在新窗口中打开),并立即封禁相关账户。当有证据表明虐待行为正在持续发生时,我们的团队会进行深入调查,编制补充报告提交给 NCMEC 以便优先处理。
AI 工具助长了新的滥用模式——以及我们的应对措施
作为持续安全工作的一部分,并为帮助其他致力于保护儿童的研究人员和组织,我们分享已观察并拦截的滥用模式,以便业界同行能从我们的经验中受益。除了简单地通过提示词诱导模型创建 CSAM 或对未成年人进行性化的图像外,我们还看到需要新型应对策略的新兴滥用模式正在出现。
ChatGPT 允许用户上传图像、视频和文件,以便模型能够与内容交互并进行分析。我们观察到,部分用户上传儿童性虐待材料(CSAM),并要求模型生成对材料中所描绘内容的详细描述。Thorn 的 CSAM 分类器和哈希匹配技术使我们能够检测这些上传文件中潜在的 CSAM,并阻止模型响应此类请求。
在某些情况下,我们会遇到用户试图诱导模型参与虚构的性角色扮演场景,并将 CSAM 作为叙事的一部分进行上传。我们也看到有用户试图诱导模型撰写涉及未成年人处于性不当和/或受虐情境中的虚构故事——这违反了我们的儿童安全政策,我们会迅速采取行动检测此类企图并封禁相关账户。我们的系统旨在检测和拦截这些行为,当涉及明显的 CSAM 时,从事此类行为的账户将被封禁并向美国国家失踪与受虐儿童中心(NCMEC)报告。
我们严肃对待此类滥用行为。尽管我们认识到即使是最先进的系统也并非万无一失,但我们正在不断优化方法以防止此类滥用。我们应对这些场景的策略是多维度的。除了提示词层面的检测外,我们还结合使用上下文感知分类器、滥用监控以及内部人工专家审核(仅在分类器标记潜在滥用时触发),以确保我们的模型能够抵御这些形式的误用。所有这些信息均在内部严格保密,仅由负责团队中经过培训的专业人员访问。此外,我们拥有内部的儿童安全主题专家,协助持续完善我们的安全防护措施。
倡导支持行业与政府合作打击滥用的公共政策
在美国,持有或制作 CSAM 均属非法行为。在开发 AI 系统的背景下,这意味着使用 CSAM(即使是模拟数据)对 AI 模型进行红队测试也是违法的。红队测试是指通过压力测试 AI 模型以识别漏洞、弱点或非预期行为的做法。虽然禁止持有和制作 CSAM 的法律保护了儿童,但这同时也为我们全面测试和验证旨在打击 CSAM 的安全措施增加了额外的难度。
这就是为什么我们希望各国政府采纳公共政策框架,促进科技公司、执法部门和倡导组织之间建立强有力的合作伙伴关系,以保护儿童并营造安全可靠的在线环境。这也是我们支持纽约州《儿童性虐待材料预防法案(在新窗口中打开)》(https://cdn.openai.com/pdf/ce2e5c25-d75e-44d5-8586-42f048344def/ny-a3997-updates-to-child-sexual-abuse-material-prevention-act-memo-of-support.pdf) 的原因。该立法旨在确保为负责任的报告、合作以及旨在检测、分类、监控和减轻有害 AI 生成内容的主动行动提供明确的法定保护。