IT之家 · 智能时代T2·58 分
OpenAI 推出 CSAM 检测工具 误报降低 48%
原标题:OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护
- 新图像分类器误标记数量减少 48%,被标记图像实际含虐待内容的概率约为原来的两倍
- 工具经审核后通过 OpenAI API 免费开放,NCMEC 参与训练、评估与部署
- ChatGPT 对相关请求中断操作并临时封号 24 小时,屡犯升级至永封或移交执法
AI 聚合热点事件 · 2026/11/17
OpenAI 正式发布一款图像分类器,可识别儿童性虐待材料(CSAM)并判断其是否由 AI 生成,同时通过 API 向通过审核的机构免费开放。该工具在标记准确率上实现显著提升,误标记图像数量较现有措施减少 48%,被标记图像实际含虐待内容的概率约为原来的两倍。
该分类器由美国国家失踪与受剥削儿童中心(NCMEC)参与训练、评估与部署,OpenAI 还同步为开发者提供检测指引,并为执法部门提供培训。ChatGPT 也上线了干预机制:当用户请求涉及 CSAM 时,系统会中断操作并临时封号 24 小时,屡犯者将升级至永久封禁或移交执法。此外,OpenAI 与 Anthropic、谷歌共同委托 Tech Coalition 发布了行业处置指南。
此举背景是 NCMEC 网络举报热线收到的生成式 AI 相关举报从 2024 年的 6.7 万条激增至 2025 年的 40 万条,平台侧压力陡增。OpenAI 承认这仍是一项以事前预防为目标的实验性合作,但该工具的免费开放与行业指南的发布,标志着 AI 平台在内容安全治理上迈出了协同化、标准化的重要一步,有望推动全行业形成更统一的 CSAM 检测与处置规范。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护
原标题:OpenAI wants to stop deepfakes from overwhelming child abuse tiplines