术语slug: flash-attention

Flash Attention

通过优化内存访问模式加速注意力计算并降低显存占用的算法

收录情报动态

共 2 篇 · 第 1/1 页
Hugging Face BlogT1·基座大模型
85 分
ModernBERT 发布:首个 BERT 现代替代者

Hugging Face 与 LightOn 等机构联合发布 ModernBERT,旨在彻底取代自2018年以来主导 NLP 领域的 BERT 架构。该模型通过引入 RoPE、SwiGLU 激活函数及长上下文支持(最高8k),在保持高效推理的同时显著提升了检索、分类及实体识别任务的性能基准。

Flash Attention | Today for AI