IT之家 · 智能时代T2·78 分
字节 Seed 揭示 DeepSeek 长上下文性能漂移:分块 KV 缓存压缩致相位敏感性,检索准确率波动达 40%
原文标题:字节 Seed 团队发现 DeepSeek“抽风”原因,长上下文可能性能漂移
- 分块 KV 缓存压缩虽降低内存成本,但引入 Token 相位这一新位置坐标,导致检索性能周期性波动。
- DeepSeek-V4 系列模型在长上下文任务中表现出显著的相位敏感性,不同相位下检索准确率差异可达 40%。
- 平均基准测试分数可能掩盖模型在特定输入位置上的系统性弱点,需关注细粒度的性能分布。