术语slug: self-attention

自注意力机制

Self-Attention

允许模型并行处理序列并关注不同部分关系的机制

收录情报动态

共 7 篇 · 第 1/1 页
Hugging Face BlogT1·基座大模型
68 分
Hugging Face 详解 RoPE 位置编码演进

Hugging Face 发布技术博客,通过迭代推导过程解析旋转位置编码(RoPE)的设计原理。文章从基础线性代数出发,逐步展示如何从简单系统演化出当前主流 Transformer 模型采用的 SOTA 位置编码方案。该教程旨在降低理解门槛,帮助开发者掌握 Llama 3.2 等现代模型的核心架构机制。

Hugging Face BlogT1·基座大模型
68 分
Perceiver IO 集成至 Transformers:支持多模态统一建模

Hugging Face 将 Perceiver IO 模型正式集成至 Transformers 库,该架构通过潜在瓶颈机制实现了对文本、图像、音频及视频等任意模态数据的统一处理。作为首个完全基于注意力机制且具备高可扩展性的多模态模型,它打破了传统 Transformer 在输入长度和模态类型上的限制,并提供了光学流预测与图像分类等实际用例。

Hugging Face BlogT1·基座大模型
42 分
Hugging Face 综述长程 Transformer 优化技术

Hugging Face 发布关于长程 Transformer(Long-range Transformers)的技术综述,系统梳理了降低计算复杂度的主流方法。文章重点介绍了稀疏注意力、低秩近似及线性化等架构改进策略,旨在解决标准 Transformer 在长序列处理上的二次方复杂度瓶颈。

Hugging Face BlogT1·基座大模型
45 分
Hugging Face 详解 Transformer 编解码架构原理

Hugging Face 发布技术博客,深入解析基于 Transformer 的编码器-解码器模型架构。文章回顾了 Vaswani 等人的原始论文及 T5、BART 等后续变体,重点阐述序列到序列任务的建模机制与解码过程。尽管发布于 2020 年,该教程仍为理解经典 NLP 架构提供了清晰的代码级实现指南。