量子位官网T2·算力与基建
58 分
是石科技发布「多模态模型服务」,通过基于历史缓存残差的自适应加速、SGLang 缓存管理、模态自适应 Token 压缩与 Context Engine 结构化衔接,在展示的测试条件下实现端到端平均 2.48 倍加速并保持生成质量。方案核心是在缓存复用与误差校准之间动态权衡,而非简单削减生成步数。
Adaptive Cache Acceleration
依据历史缓存残差评估复用风险,动态选择复用或重算以抑制误差累积
是石科技发布「多模态模型服务」,通过基于历史缓存残差的自适应加速、SGLang 缓存管理、模态自适应 Token 压缩与 Context Engine 结构化衔接,在展示的测试条件下实现端到端平均 2.48 倍加速并保持生成质量。方案核心是在缓存复用与误差校准之间动态权衡,而非简单削减生成步数。