OpenAI Releases CSAM Detection Tool Cutting False Positives by 48%

Original title: OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护
58AI Score

OpenAI has launched a CSAM image classifier, offered free via API to vetted organizations, which cuts false-flagged images by 48% and roughly doubles the likelihood that flagged content is genuinely abusive. ChatGPT adds an intervention flow that suspends accounts for 24 hours on related requests, escalating to permanent bans or law-enforcement referral. NCMEC supported training and evaluation, and OpenAI joined Anthropic and Google in commissioning a Tech Coalition guide on handling child sexual exploitation disclosures.

Full Report

IT之家 11 月 17 日消息,OpenAI 昨天宣布推出儿童性虐待内容(CSAM)检测工具。该产品可中断有害行为,同时提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。该工具将通过 OpenAI API,向经过审核的机构免费开放。

据介绍,OpenAI 已推出全新的图像分类器,用于检测潜在的儿童性虐待内容。该分类器会寻找虐待行为的视觉特征,帮助审核团队识别未曾见过的新图像,同时提供评分功能,帮助审核人员判断哪些图像可能需要优先处理。

美国国家失踪与受剥削儿童中心(NCMEC)在该工具的开发过程中提供支持,协助 OpenAI 完成训练、评估和实际部署工作。

同时该工具相比现有保护措施,可减少 48% 误标记图像数量。在标记的图像中,实际包含性虐待内容的可能性约为原来的两倍。invideo AI 测试显示,每四个被标记的案例中,就有一个最终被封禁。

此外,OpenAI 将在 ChatGPT 中新增产品警告。当用户试图寻找性虐待素材时,系统会中断相关操作、说明后果,并引导用户寻求帮助,以停止有害行为。一旦用户发出相关请求,他的 ChatGPT 账号将被暂时停用 24 小时,反复违规可能导致更长时间的封号,最终永封或被举报至有关部门。

OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护

OpenAI 已经与 Anthropic 和谷歌合作,共同委托制定一份关于如何应对 AI 系统中儿童性剥削与性侵害披露的新指南。该指南最近已由 Tech Coalition 发布,为开发者处理这些敏感情况提供了实用建议。