Rohan Paul (@rohanpaul_ai)T2·78 分
Anthropic 推出 Claude 自我评估机制,实时检测潜在滥用
原标题:Every time Claude answers, it now quietly asks itself whether it just helped someone cause harm, and...
- Claude 在生成回复后会自动进行初步的安全评估,并将结果提交给审核团队。
- 该技术通过知识蒸馏复制专用分类器的判断逻辑,避免了读取完整安全策略的高昂计算成本。
- 在高优先级案例中,自我评估与专业分类器的一致性高达 94%,且误报率仅为 1%。