返回全部资讯
OpenAI 官方博客T1·商业与生态

OpenAI 发布社区安全承诺:强化暴力风险检测

原标题:Our commitment to community safety
35AI 研判分

OpenAI 公开其针对暴力威胁、大规模枪击等极端场景的安全治理机制,重点阐述模型如何区分虚构/历史讨论与真实危害意图。公司强调在隐私保护与执法协作间寻求平衡,并引入心理学家及法律专家优化风险识别流程。

报道正文

本文目录4 个章节

大规模枪击事件、针对公职人员的威胁、爆炸企图以及针对社区和个人的袭击,是当今世界不可接受且严峻的现实。这些事件提醒我们,暴力威胁真实存在——并且暴力的意图可以迅速从言语转化为行动。

用户也可能将这些时刻和情绪带入 ChatGPT。他们可能会询问有关新闻的问题,试图理解发生了什么,表达恐惧或愤怒,或者以虚构、历史、政治、个人甚至潜在危险的方式谈论暴力。我们致力于训练 ChatGPT 识别其中的差异——并在对话开始转向威胁、对他人的潜在伤害或现实世界的策划时划定界限。

我们将分享为减少服务被用于助长暴力或其他危害所采取的措施:我们的模型如何经过训练以安全地响应,我们的系统如何检测潜在的伤害风险,以及当有人违反我们的政策时我们会采取哪些行动。在心理学家、精神科医生、公民自由和法律执法专家以及其他帮助我们应对围绕安全、隐私和普及化访问的艰难决策的人士的建议指导下,我们不断改进保护人们和社区安全的步骤。

我们如何在 ChatGPT 中减轻伤害风险。

我们的 Model Spec⁠(opens in a new window) 阐述了我们长期以来关于希望模型如何表现的原则:通过合理的默认设置,在最大化有用性和用户自由的同时,将伤害风险降至最低。

我们努力训练模型拒绝提供可能实质性助长暴力的指令、战术或策划请求。与此同时,人们可能出于事实性、历史性、教育性或预防性的原因提出关于暴力的中性问题,我们旨在允许此类讨论,同时保持明确的安全边界——例如,省略可能促成伤害的详细操作性指令。良性使用与有害使用之间的界限可能很微妙,因此我们持续完善我们的方法,并与专家合作,以帮助区分安全的、有边界的回应与实施暴力或其他现实世界危害的可操作步骤。

作为这项持续工作的一部分,我们不断扩展安全措施,以帮助 ChatGPT 更好地识别不同情境下细微的伤害风险迹象。某些安全风险并非一目了然:单条消息本身可能看似无害,但长对话中的更广泛模式——或跨对话的模式——可能暗示着更令人担忧的情况。基于我们在模型训练、评估和红队测试方面多年的积累,以及持续的专家输入,我们强化了 ChatGPT 在漫长且高风险的对话中识别微妙预警信号并谨慎响应的能力。我们将在未来几周内分享更多关于此项工作的细节。

我们的安全工作也延伸至 用户可能处于痛苦之中⁠ 或有自残风险的情境。在这些时刻,我们的目标不仅是避免促成有害行为,还要帮助缓和局势,并引导人们寻求现实世界中的支持。ChatGPT 会提供本地化的危机资源,鼓励人们联系心理健康专业人士或值得信赖的亲友,并在最严重的情况下指引人们寻求紧急援助。

我们如何监控和执行规则。

我们假定用户怀有善意,但当检测到有人试图利用我们的工具策划或实施暴力时,我们会采取行动,包括撤销其对 OpenAI 服务的访问权限。我们的 使用政策⁠ 对可接受的使用设定了明确预期,并规定我们可能会禁止用于威胁、恐吓、骚扰、恐怖主义或暴力、武器开发、非法活动、破坏财产或系统,以及试图规避我们安全措施的行为。我们严肃对待这些政策,并努力加以执行。

我们使用自动化检测系统来大规模识别潜在的可疑活动。这些系统利用一系列工具分析用户内容和行为,旨在识别可能表明违反政策或存在有害活动的信号,包括分类器、推理模型、哈希匹配技术、黑名单以及其他监控系统。

当账户或对话被标记时,将由经过培训的人员结合上下文进行评估。这些人工审核员接受过我们政策与流程的培训,并在既定的隐私与安全保护措施下开展工作;这意味着他们对用户信息的访问权限有限,操作均在安全系统内进行,并须遵守保密及数据保护要求。他们的职责是结合上下文评估被标记的活动,包括交互内容、周边对话以及随时间推移出现的任何相关行为模式。这种基于上下文的审查至关重要,因为自动化系统可能会识别出潜在风险的信号,却无法完全捕捉用户的意图或细微差别。

我们的目标是判定被标记的活动是否违反我们的政策,是否表明用户可能实施暴力行为,是否需要升级至更详细的人工审查,或者是否可以作为低风险或非违规行为予以驳回或降低优先级。当我们确定发生了可封禁的违规行为时,我们会立即撤销该用户对 OpenAI 服务的访问权限。这可能包括禁用账户、封禁同一用户的其他账户,以及采取措施检测和阻止新账户的注册。对于利用我们的工具协助实施暴力的行为,我们实行零容忍政策。用户可以就执行决定提出申诉,我们将审查这些申诉以确认最终结果。

我们在适当情况下提供现实世界支持并向执法部门通报。

大多数执行行动(包括因暴力行为导致的封禁)直接发生在 OpenAI 与用户之间,明确告知其已越界。但在某些敏感案件中,我们可能会联系最适合提供帮助的其他方。

如果我们评估认为某案件显示出可能造成严重现实伤害的迹象,则会将其升级进行更深入调查,包括使用结构化标准评估整体风险水平。此阶段仅适用于有限的部分案件,旨在确保对高风险场景进行额外背景信息和专业知识的评估。当对话显示存在迫在眉睫且可信的对他人造成伤害的风险时,我们会通知执法部门。心理健康和行为专家帮助我们评估疑难案件,我们的转介标准具有灵活性,考虑到用户可能在 ChatGPT 对话中未明确讨论计划暴力的目标、手段和时间,但仍可能存在迫在眉睫且可信的暴力风险。

去年秋天,我们推出了家长控制功能⁠,旨在帮助家庭引导 ChatGPT 在家庭环境中的使用方式。通过家长控制功能,父母可以将自己的账户与青少年的账户关联,并自定义设置以确保体验安全且符合年龄适宜性。父母无法访问其青少年的对话内容;仅在极少数情况下,当我们的系统和经过培训的人工审核员检测到可能表明存在急性痛苦的迹象时,才会通知父母——但仅会提供支持青少年安全所需的信息。父母将通过电子邮件、短信、推送通知或这三种方式的组合自动收到通知。

我们与“福祉与人工智能委员会”(Council on Well-Being and AI)以及“全球医生网络”(Global Physicians Network)的专家密切合作,即将推出“受信任联系人”功能,允许成年用户指定某人在他们可能需要额外支持时接收通知。

我们不断学习、改进并及时纠偏。

根据观察到的使用情况、新兴风险以及内部和外部专家的建议,我们持续强化模型、检测方法、审核流程和升级标准。我们特别关注那些棘手的情况:例如,难以判断特定输入是否合法或是否存在危害风险;规避安全防护措施的复杂尝试;或者人们反复试图滥用我们的服务。我们将继续优先保障安全⁠,同时在隐私和其他公民自由之间取得平衡,以便我们能够应对严重风险。

您可以阅读更多关于我们的安全工作与承诺⁠的内容,并注册以接收⁠有关我们政策的更新信息。