术语slug: guardrails

护栏

Guardrails

对模型输入输出施加的安全限制机制,用于拦截高风险领域请求

收录情报动态

共 23 篇 · 第 1/3 页
LangChain BlogT1·智能体与协同
42 分
LangSmith 提出以可观测性为智能体治理起点

LangChain 旗下 LangSmith 发布观点文章,主张智能体治理应从可观测性入手:通过记录并分析智能体每一步执行轨迹,既能验证护栏等预防性控制是否生效,也为生产环境中的检测性控制提供数据基础。文章强调检测发现的新故障应回流至预防环节,转化为更严格的护栏或回归测试,形成治理闭环。

宝玉 (@dotey)T2·基座大模型
78 分
Anthropic 发布 Claude Fable 5.2 并降价两成

Anthropic 发布高端模型 Claude Fable 5.2 与 Claude Mythos 5.2,官方称其在几乎所有测试能力上强于 Opus 5.5 一档,输出速度最高提升 30%,API 价格从每百万 Token 10/50 美元降至 8/40 美元。Fable 与 Mythos 为同一模型,区别仅在安全护栏:Fable 面向全部付费用户,Mythos 仅限通过验证的网安与生命科学机构。Pro 用户可在 11 月 9 日至 16 日临时用套餐额度调用 Fable。

AWS Machine Learning BlogT1·智能体与协同
38 分
Taxbit 在 Amazon Bedrock AgentCore 上构建角色感知合规 AI 助手

Taxbit 在 Amazon Bedrock AgentCore 上构建了嵌入式 AI 助手 Taxbit Assist,通过检索增强与权限感知机制,为合规团队提供带引用的产品内问答。官方数据显示,超过 55% 的提问用户会在 24 小时内再次使用。该案例展示了基于托管 Agent 平台、知识库与护栏构建企业级垂直助手的工程路径。

Hacker News AIT2·智能体与协同
42 分
MIT 开源 Argus 智能体安全运营平台

Argus 是一个免费开源的智能体安全运营平台,利用 AI 代理自动监控云环境、登录活动及设备状态。该平台旨在以秒级速度检测并阻断机器速度的攻击,提供自主响应能力,同时允许用户通过护栏机制控制 AI 的操作权限。

宝玉 (@dotey)T2·商业与生态
68 分
苹果拟 12 月随 iOS 27.3 在华上线 Apple Intelligence:采用阿里通义模型,暂缺新版 Siri

据彭博社报道,苹果计划于 12 月通过 iOS 27.3 更新在中国大陆正式推出 Apple Intelligence。国行版将基于阿里巴巴的通义千问和通义万相模型运行,但初期仅支持通知摘要、写作工具等基础功能,不包含基于 Google Gemini 的新版 Siri 及高级图像生成功能。此举标志着苹果在合规前提下,通过与本土大模型厂商合作解决 AI 落地难题的关键一步。

The Verge AIT2·商业与生态
68 分
美国八州起诉 OpenAI:指控 ChatGPT 危害儿童安全并误导公众

美国八个州联合对 OpenAI 提起诉讼,指控其违反消费者保护法,将利润置于儿童安全之上。诉讼核心在于 OpenAI 曾宣传 ChatGPT 为“适合青少年的安全工具”,但实际被指导致用户批判性思维退化、诱发妄想及提供危险医疗建议。这一法律行动标志着 AI 监管从技术伦理讨论转向具体的司法问责阶段。

The DecoderT2·基座大模型
68 分
Artemis Security 发布 Orion-1 专用防御模型:自动关联多源日志信号以对抗通用 AI 攻击者

Artemis Security 推出专为网络安全防御设计的 Orion-1 大模型,旨在解决通用 AI 模型被黑客利用而防御方受限的不对称问题。该模型能自主处理认证服务、云配置及终端等多源日志数据,通过关联孤立信号(如异常登录与新建邮箱规则)重构攻击链,并输出置信度评分与响应建议。尽管在内部基准测试中声称超越 Claude Opus 5.5 和 GPT-6 Sol,但其对比结果可能受限于旧版本模型数据且缺乏第三方独立验证。

Rohan Paul (@rohanpaul_ai)T2·商业与生态
42 分
Anthropic 国际负责人称开源权重模型风险更高:因无法监控私有部署与移除安全护栏

Anthropic 国际业务负责人 Guillaume Princen 在都柏林 AI 峰会上指出,开源权重模型本质上具有更高的安全风险。其核心论据在于控制权缺失:一旦权重公开,开发者无法阻止用户移除内置的安全护栏,也无法监控或召回在私有系统中运行的模型副本。

Artificial Analysis (@ArtificialAnlys)T1·商业与生态
42 分
Artificial Analysis 推出政府版服务:提供基准测试与咨询以辅助公共部门 AI 政策制定与技术选型

AI 评测机构 Artificial Analysis 宣布推出面向政府客户的专项服务,旨在通过基准测试、数据分析和专业咨询协助公共部门设计 AI 政策及选择技术。该服务涵盖能力评估、成本效益分析及安全护栏测试,近期已与韩国政府签署谅解备忘录并联合 NVIDIA 开展安全模型基准测试。