术语slug: safety-alignment

安全对齐

Safety Alignment

确保 AI 系统行为符合人类价值观和安全准则的技术过程

收录情报动态

共 12 篇 · 第 1/2 页
IT之家 · 智能时代T2·智能体与协同
85 分
Exin 让 AI 智能体自主完成小鼠脑部手术

生物科技初创公司 Exin Therapeutics 展示了一个基于 Anthropic Sonnet 模型的 AI 智能体,该智能体在兽医监督下自主完成了从选择基因疗法载体、推导注射坐标到操控机械臂进行脑部药物注射的全过程。尽管 Opus 模型因安全对齐机制拒绝执行生物手术任务,但 Sonnet 成功实施了针对癫痫小鼠的治疗且术后恢复良好,标志着 AI 代理在复杂物理世界操作中的重大进展。

Hacker News AIT2·智能体与协同
78 分
VOLTA 恶意软件集成 LLM 自动评估受害者资产价值

Cisco Talos 披露 VOLTA 信息窃取器新增 AI 集成层,利用大模型对窃取的凭证与钱包进行变现价值排序。该机制在遭遇模型拒绝时会自动切换至三模型链以绕过安全护栏,标志着恶意软件从单纯数据窃取转向具备自主情报分析能力的智能体行为。

The DecoderT2·智能体与协同
88 分
Claude 智能体自主完成小鼠脑部手术并触发安全中止

Exin Therapeutics 团队利用 Claude Sonnet 5 智能体,在无人工干预下自主选定基因疗法、脑区及注射坐标,并控制机械臂完成小鼠癫痫模型脑部手术。术中智能体检测到校准误差后主动拒绝继续操作以遵守安全限制,这被宣称是 AI 首次同时具备治疗决策与活体哺乳动物执行能力。

The Verge AIT2·基座大模型
48 分
Block 发布 Dessa 模型 主打纯人类对话训练

Jack Dorsey 旗下的 Block 公司发布了名为 Dessa 的新 AI 模型,该模型完全基于人类真实对话从零开始训练。官方展示了其语音交互能力,指出这种训练方式旨在解决现有大模型因混合数据导致的“安全对齐”难题,目前仅向少数 AI 安全研究人员开放早期访问权限。

Hacker News AIT2·商业与生态
68 分
OpenAI 解雇三名安全研究员引发争议:公开信警告内部审查将阻碍 AGI 安全开发

OpenAI 因“违规处理机密信息”解雇 Jasmine Wang 等三名核心安全研究员,后者发表公开信否认指控并警告此举将在公司内部制造寒蝉效应。事件凸显了前沿 AI 实验室在商业保密与外部安全协作之间的深层张力,可能削弱其对 AGI 风险的独立监督能力。

The DecoderT2·商业与生态
68 分
Anthropic 扩大 Claude 网络安全验证计划,放宽安全限制

Anthropic 将其“网络验证计划”(CVP)向更广泛的安全专业人员开放,允许经过审核的机构和个人在漏洞研究、恶意软件分析等场景中使用 Claude 最强模型并减少安全过滤。该计划分为防御、红队和特殊访问三个层级,旨在平衡 AI 辅助安全工作的效率与潜在滥用风险。据称,已有数万名高危漏洞通过此途径被发现,显著加速了安全工作流程。