术语slug: positional-encoding

位置编码

Positional Encoding

为模型提供 token 顺序信息的机制,包括绝对与相对位置编码等多种方案

收录情报动态

共 3 篇 · 第 1/1 页
Hacker News AIT2·基座大模型
58 分
现代 LLM 位置编码机制全景解析

本文系统梳理了现代大语言模型中的位置编码机制,涵盖 RoPE 等经典与前沿方法,并配有可视化示例、数学推导与 PyTorch 实现。文章还对比了 2026 年开源权重模型在位置编码上的不同选择,以及现代架构如何适配或省略显式位置编码。

Ahead of AI (Sebastian Raschka)T2·基座大模型
58 分
深入解析现代大模型位置编码与 RoPE 机制

本文系统梳理了大语言模型编码与处理 token 位置信息的方法,涵盖从经典方案到 RoPE 等当代主流技术,并配有可视化示例、数学推导与小型 PyTorch 实现。文章还对比了 2026 年开源权重模型在位置编码上的不同选择,探讨现代架构如何调整甚至省略显式位置编码。

Hugging Face BlogT1·基座大模型
68 分
Hugging Face 详解 RoPE 位置编码演进

Hugging Face 发布技术博客,通过迭代推导过程解析旋转位置编码(RoPE)的设计原理。文章从基础线性代数出发,逐步展示如何从简单系统演化出当前主流 Transformer 模型采用的 SOTA 位置编码方案。该教程旨在降低理解门槛,帮助开发者掌握 Llama 3.2 等现代模型的核心架构机制。