术语slug: modality-adaptive-token-compression

模态自适应 Token 压缩

Modality-Adaptive Token Compression

按模态特性压缩多模态输入 Token,降低理解阶段的计算与显存开销

收录情报动态

共 1 篇 · 第 1/1 页
量子位官网T2·算力与基建
58 分
是石科技发布多模态服务 视频推理提速 2.48 倍

是石科技发布「多模态模型服务」,通过基于历史缓存残差的自适应加速、SGLang 缓存管理、模态自适应 Token 压缩与 Context Engine 结构化衔接,在展示的测试条件下实现端到端平均 2.48 倍加速并保持生成质量。方案核心是在缓存复用与误差校准之间动态权衡,而非简单削减生成步数。