Today for AI
返回热点榜
llm热度 14.4°

AI 聚合热点事件 · 2026/11/3

Zyphra 发布 ZHA 分层注意力机制，长上下文推理效率显著提升

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/3 09:13:39
全景综述与最新动态
1 家信源交叉印证

Zyphra 推出 ZHA（分层注意力）稀疏注意力方法，通过构建 KV 缓存树状结构实现高效检索。该方法在 Qwen3.6-35B 模型上仅需读取约 1.1% 的键值即可在 LongBench v2 上超越密集注意力基线，且训练成本极低（仅优化 8 万参数）。尽管在特定基准测试中存在性能权衡，但其为长上下文处理提供了新的架构思路。

最新动向/Zyphra 推出 ZHA（分层注意力）稀疏注意力方法，通过构建 KV 缓存树状结构实现高效检索。该方法在 Qwen3.6-35B 模型上仅需读取约 1.1% 的键值即可在 LongBench v2 上超越密集注意力基线，且训练成本极低（仅优化 8 万参数）。尽管在特定基准测试中存在性能权衡，但其为长上下文处理提供了新的架构思路。

逐小时热度走势

4 个完整观测小时
当前
14.4
峰值
15.210:00
近 24h 变化
–

曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。

报道时间线

共 1 篇 · 最新优先
  1. Marktechpost (@Marktechpost)T2·78 分

    Zyphra 发布 ZHA 分层注意力机制，长上下文推理效率显著提升

    原标题：▲ Zyphra just introduced ZHA (Zyphra Hierarchical Attention), a sparse attention method where findin...

    • ZHA 采用 KV 缓存树状结构，通过层级压缩和 top-p 路由实现稀疏检索。
    • 在 LongBench v2 上以约 1.1% 的键读取量超越密集注意力基线，RULER-13 表现接近密集模式。
    • 转换过程仅需训练 81,920 个参数和约 4B tokens 的 KL 蒸馏，部署成本低。