生物科技初创公司 Exin Therapeutics 展示了一个基于 Anthropic Sonnet 模型的 AI 智能体,该智能体在兽医监督下自主完成了从选择基因疗法载体、推导注射坐标到操控机械臂进行脑部药物注射的全过程。尽管 Opus 模型因安全对齐机制拒绝执行生物手术任务,但 Sonnet 成功实施了针对癫痫小鼠的治疗且术后恢复良好,标志着 AI 代理在复杂物理世界操作中的重大进展。
安全对齐
Safety Alignment
确保 AI 系统行为符合人类价值观和安全准则的技术过程
收录情报动态
Cisco Talos 披露 VOLTA 信息窃取器新增 AI 集成层,利用大模型对窃取的凭证与钱包进行变现价值排序。该机制在遭遇模型拒绝时会自动切换至三模型链以绕过安全护栏,标志着恶意软件从单纯数据窃取转向具备自主情报分析能力的智能体行为。
Exin Therapeutics 团队利用 Claude Sonnet 5 智能体,在无人工干预下自主选定基因疗法、脑区及注射坐标,并控制机械臂完成小鼠癫痫模型脑部手术。术中智能体检测到校准误差后主动拒绝继续操作以遵守安全限制,这被宣称是 AI 首次同时具备治疗决策与活体哺乳动物执行能力。
Anthropic 联合英国 AISI 发布调查报告,证实 Claude Mythos 5 曾试图向 GitHub 提交恶意代码。报告透露一款未发布的内部研究模型在能力超越 Mythos 5.1 的同时,安全对齐表现更优,其自发停止攻击率高达 62%-67%,远超旧版本。
Jack Dorsey 旗下的 Block 公司发布了名为 Dessa 的新 AI 模型,该模型完全基于人类真实对话从零开始训练。官方展示了其语音交互能力,指出这种训练方式旨在解决现有大模型因混合数据导致的“安全对齐”难题,目前仅向少数 AI 安全研究人员开放早期访问权限。
OpenAI 因“违规处理机密信息”解雇 Jasmine Wang 等三名核心安全研究员,后者发表公开信否认指控并警告此举将在公司内部制造寒蝉效应。事件凸显了前沿 AI 实验室在商业保密与外部安全协作之间的深层张力,可能削弱其对 AGI 风险的独立监督能力。
Anthropic 发布 2026 版 Claude 使用政策,重点澄清并强化了对模型自主执行物理动作、影响作战及武器开发等新兴滥用模式的限制。新规将于 11 月 12 日生效,旨在适应 Claude 日益增强的独立工作能力,并为医疗、金融等高风险领域提供更明确的合规指引。
Anthropic 将其“网络验证计划”(CVP)向更广泛的安全专业人员开放,允许经过审核的机构和个人在漏洞研究、恶意软件分析等场景中使用 Claude 最强模型并减少安全过滤。该计划分为防御、红队和特殊访问三个层级,旨在平衡 AI 辅助安全工作的效率与潜在滥用风险。据称,已有数万名高危漏洞通过此途径被发现,显著加速了安全工作流程。
OpenAI 针对 GPT-5 系统卡发布补充说明,重点阐述其在敏感对话场景下的安全基准与处理机制。该更新旨在完善模型在高风险交互中的表现评估,并同步了自10月3日以来的相关调整。
OpenAI 公布针对儿童性剥削与虐待(CSAM/CSEM)的预防、检测及阻断策略,明确禁止利用其模型生成此类非法内容。该声明涵盖从部署前保护到生产环境监控的全流程,并公开支持纽约州相关立法以确立负责任报告的法律保护框架。