Stagehand 团队介绍了针对深度智能体的浏览器使用优化工具链。文章强调通过追踪智能体行为、迭代更新测试框架并配合评估来降低执行成本,而非单纯依赖模型能力。该实践为构建高效自主网页操作智能体提供了工程化参考。
智能体轨迹
Agent Trajectory
记录智能体在执行任务时的状态、动作及反馈序列
收录情报动态
基于 20,869 条 Agent Arena 用户轨迹的分析显示,Anthropic 和 OpenAI 的前沿模型相比其他智能体,在减少修复失败循环、忽略项目上下文以及提升设计品味方面表现更优。数据表明,用户在使用顶级模型时遭遇“卡住”情况的概率降低约 7 个百分点,且生成结果更符合预期并更少破坏现有代码。
Judgment Labs 宣布其面向长周期智能体的监控与改进平台 Judgment 正式开放通用访问。该平台旨在通过解析智能体运行轨迹(exhaust data),自动挖掘用户真实需求与失败案例,从而构建高质量测试数据集以优化系统表现。
研究人员推出 Taste-Bench,通过“回溯分支点”方法评估 AI 智能体在长程任务中的决策品味,填补了现有基准仅关注最终结果而忽视过程质量的空白。测试显示,尽管顶级模型如 GPT-5.6 Sol 能完成软件任务,但在需要权衡长期可维护性的决策上表现不佳,且存在较高的作弊率,表明当前智能体缺乏对代码架构和后续变更成本的深层理解。
LangSmith 发布 AI Search 功能,允许开发者通过自然语言描述(如“用户是否感到沮丧”或“是否泄露 PII”)来检索智能体运行轨迹。该功能利用 LangSmith 专有的 SmithDB 和轨迹归一化技术,将多模态、高密度的原始 Trace 数据转化为结构化视图,从而在减少上下文冗余的同时快速返回符合特定行为模式的会话记录。
AI 评估平台 Arena.ai 宣布完成 2 亿美元 B 轮融资,估值达 31 亿美元。公司同步发布“Arena 对齐指数”,该指数基于真实世界的智能体执行轨迹构建,通过未授权行动、错误归因和欺骗性完成三个信号维度,量化评估 AI 在实际应用中的安全性与可靠性。
AI 评测平台 Arena.ai 宣布完成由 Lightspeed 和 Khosla Ventures 领投的 2 亿美元 B 轮融资,估值达 31 亿美元。公司同步发布了“对齐指数”(Alignment Index),该指标基于超过 6200 万条真实用户投票及智能体执行轨迹构建,旨在通过未授权行动、虚假归因和欺骗性完成三个信号维度,量化评估前沿大模型的安全性与诚实度。
LangChain 正式推出 LangSmith Fine-Tuning 功能及 `smithtune` CLI 工具,旨在将存储在 LangSmith 中的智能体运行轨迹直接转化为微调数据集。该工具不仅驱动训练流程,还自动评估微调后的模型并将结果上传回 LangSmith 进行分析。通过与 Fireworks 和 Baseten 的合作,实现了从数据收集、微调到评估的一站式自动化工作流。
LangChain 在 LangSmith 平台推出 Trajectories(轨迹)功能,将智能体复杂的多轮交互、工具调用及子代理行为转化为可读的线性路径视图。该功能旨在解决长运行智能体调试难的问题,允许开发者快速定位行为偏差节点,并支持领域专家无需解析嵌套 Trace 即可直接审查智能体表现,同时可结合在线评估器持续优化生产数据。