Rohan Paul (@rohanpaul_ai)T2·85 分
SemiAnalysis 发布 GDPx 基准 AI Agent 专家任务得分极低
原标题:SemiAnalysis has released GDPx, a benchmark testing AI agents on expert work across 11 domains.
- GDPx 要求 Agent 在包含数千文件的真实工作空间中自主挖掘信息,区别于传统的上下文注入式评测。
- Claude Opus 5.5 以 12% 的平均分领跑,但所有主流模型在金融和法律任务中均无法通过严格评分标准。
- 在改进交易策略的任务中,70% 的尝试导致表现劣于原始策略,显示模型倾向于增加风险而非优化逻辑。