术语slug: compressed-attention

压缩注意力

Compressed Attention

通过降低注意力矩阵维度或稀疏化来减少计算量的方法

收录情报动态

共 2 篇 · 第 1/1 页
Marktechpost (@Marktechpost)T2·基座大模型
78 分
百度发布 ERNIE 5.5 Flash Base 280B 稀疏 MoE 模型

百度发布 ERNIE 5.5 Flash Base,这是一个 280B 总参数、14B 激活参数的稀疏 MoE 模型,直接来自预训练阶段,未经中期或后训练。其核心设计是效率优先:43 层中 37 层采用重度压缩注意力,每 128 个 token 仅缓存 1 条记录,多路由器从 512 个专家中选 top-10,末层兼作投机解码草稿模型。官方自报在 MMLU-Pro 与 HumanEval+ 上领先 DeepSeek-V4-Flash-Base,但在 HELMET-Rerank 上落后,且所有数据均为自报。

Ahead of AI (Sebastian Raschka)T2·基座大模型
68 分
LLM 架构新趋势:聚焦长上下文效率优化

近期开源大模型(如 Gemma 4、DeepSeek V4)密集发布,其核心架构演进显著转向长上下文效率优化。开发者通过 KV 共享、压缩注意力机制及分层嵌入等技术,旨在解决推理与智能体工作流中日益严峻的显存占用与计算瓶颈。