工具slug: singularity-bench

Singularity-Bench

面向端到端 AI 工程任务的智能体基准,以生产系统为对照并计算 Singularity-Index

收录情报动态

共 1 篇 · 第 1/1 页
Rohan Paul (@rohanpaul_ai)T2·智能体与协同
78 分
卡内基梅隆新基准:Opus 5.5 智能体超越 SGLang 生产系统

卡内基梅隆大学发布 Singularity-Bench 基准,让智能体端到端完成预训练流水线、推理引擎与集群编排等 6 项工程任务,并与 SGLang、NVIDIA Dynamo 等生产系统在同一 GPU 上对比。Opus 5.5 搭配 Claude Code 取得 1.25 的 Singularity-Index(1 为人类基线),其余 10 个智能体平均仅 0.58;其自建服务引擎每 GPU 小时收益 11.52 美元,高于 SGLang 的 8.18 美元。

Singularity-Bench | Today for AI