术语slug: evals

评估体系

Evals

用于量化测试模型性能、准确性和安全性的标准化流程

收录情报动态

共 4 篇 · 第 1/1 页
Rohan Paul (@rohanpaul_ai)T2·商业与生态
48 分
Secludy 发布 Who Sells Data 目录:收录 159 家 AI 训练数据供应商及 38 个企业数据变现计划

Secludy 推出免费开源目录“Who Sells Data”,详细列出了 159 家向 AI 开发者出售训练数据、强化学习环境及评估服务的公司,并附带 38 个旨在从企业获取真实办公记录的数据变现计划。该目录强调事实溯源与透明度,对未确认信息明确标记而非猜测,为安全审查和模型评估提供了可验证的行业基准参考。

OpenAI 官方博客T1·智能体与协同
68 分
OpenAI 发布 AgentKit:整合构建、评估与微调工具

OpenAI 推出 AgentKit,旨在解决智能体开发中工具碎片化问题,提供可视化工作流构建、连接器管理及嵌入式 UI 组件。该套件整合了 Evals 和 RFT(强化微调)功能,允许开发者通过标准 API 定价使用全套工具,并计划后续推出独立 Workflows API。值得注意的是,官方已预告将于 2026 年逐步停用旧的 Agent Builder 和 Evals 产品,引导用户迁移至新架构或 ChatGPT Workspace Agents。

OpenAI 官方博客T1·商业与生态
42 分
OpenAI 启动 Pioneers 计划:联合初创企业构建垂直领域评估基准与微调模型

OpenAI 宣布推出 Pioneers 计划,旨在通过与高影响力垂直领域的初创公司合作,共同开发行业特定的评估基准(Evals)并优化推理模型的微调效果。该计划聚焦于法律、金融、医疗等场景,由 OpenAI 研究人员直接支持合作伙伴建立衡量 AI 实际表现的标准及提升模型在特定任务中的性能。目前处于早期招募阶段,主要面向具备明确应用场景的初创企业。