术语slug: autoregressive-generation

自回归生成

Autoregressive Generation

逐词元串行预测的生成方式,为 GPT、Claude 等主流大模型的基础范式

收录情报动态

共 13 篇 · 第 1/2 页
IT之家 · 智能时代T2·商业与生态
78 分
英伟达拟逾 5 亿美元收购扩散式大模型公司 Inception

英伟达正深入谈判收购 AI 初创公司 Inception,交易估值至少超 5 亿美元并可能附带业绩对赌。Inception 由斯坦福、UCLA、康奈尔教授于 2024 年创立,其扩散式大语言模型 Mercury 以并行生成实现低于 300 毫秒首字延迟、5 至 7 倍吞吐量,若交易落地团队或将加入英伟达 Nemotron 开源体系并延伸至机器人物理 AI。

机器之心 (微信公众号)T2·基座大模型
78 分
英伟达提出 TacitVLA:机器人动作提速 3.4 倍

英伟达联合纽约大学、UC 伯克利等团队提出 TacitVLA,发现 VLA 模型的推理文本主要价值在于训练阶段,动作生成并不需要等待推理文本写完。该方法在四个机器人操作与自动驾驶基准上保持与显式推理相当的成功率,延迟最多降低 3.4 倍,并在 RMBench 长程记忆任务上提升 21 个百分点。

机器之心 (微信公众号)T2·基座大模型
85 分
LeCun 论文证明规模无效,1 亿参数模型击败 720 亿 LLM

Yann LeCun 提交新论文从数学上论证了自回归 next-token 预测路线的效率低下,并指出单纯堆叠规模并非通往智能的唯一路径。该研究将“柏拉图表征假说”转化为定理,展示了一个仅 1.09 亿参数的世界模型在特定任务上击败了 720 亿参数的大语言模型,为 JEPA 架构提供了强有力的理论支撑。

腾讯技术工程 (微信公众号)T2·基座大模型
68 分
Jev 发布:基于 Transformer 的非生成式判别模型

TypeSafe AI 于 2026 年 9 月发布 Jev,这是一种基于 Transformer 架构但摒弃文本生成的新型模型。Jev 专注于分类、评分和判断等限定形式任务,通过直接输出概率分布实现百毫秒级推理,显著快于传统大语言模型。文章深入剖析了从 BERT/GPT 到 Jev 的架构演进,指出其核心在于保留 Encoder 的理解能力而移除 Decoder 的生成机制,为特定判别场景提供了高效替代方案。

腾讯技术工程 (微信公众号)T2·基座大模型
48 分
三万字长文科普大语言模型原理:从预测下一个词到 Transformer 架构演进

这是一篇面向零基础读者的三万字深度科普长文,旨在通过“一条线”逻辑串联大语言模型的核心机制。文章从信息论与图灵测试出发,逐步拆解自回归生成、Transformer 架构及预训练过程,重点阐释了为何仅靠预测下一个 token 的程序能涌现出智能特征。内容涵盖数学基础推导至产品化落地,适合希望系统理解 LLM 底层逻辑而非仅关注应用层的读者。

vLLM 官方博客T1·开发与工程
42 分
vLLM 在 AMD GPU 实测推测解码:多方法吞吐差异与模型依赖分析

vLLM 团队在 AMD GPU 上对推测解码进行了系统性基准测试,验证了单次目标模型前向传播可并行校验多个草稿 token 的机制。实验表明,输出吞吐量增益高度依赖于具体的草稿生成策略、提议长度、模型家族及接受率行为,并非普适性加速方案。该研究为异构算力下的 LLM 推理优化提供了细粒度的工程参考数据。

vLLM 官方博客T1·开发与工程
68 分
AMD Instinct GPU 部署 EAGLE3 推测解码:vLLM 与 Quark 协同优化大模型推理吞吐

该教程展示了如何在 AMD Instinct GPU 上利用 vLLM 和 AMD Quark 实现 EAGLE3 推测解码,以解决大模型自回归生成的延迟瓶颈。通过轻量级草稿模型并行预测多 token 并由目标模型单次验证,该方法在保持输出分布无损的前提下显著提升了 Kimi-K2.5 等 MoE 模型的推理吞吐量。

Google ResearchT1·基座大模型
68 分
谷歌推出冻结式多 Token 预测加速端侧 Gemini Nano

谷歌针对 Pixel 手机上的 Gemini Nano 模型,提出了一种将多 Token 预测(MTP)架构“冻结”并集成到现有模型中的新方法。该方案旨在解决移动端自回归生成导致的内存带宽瓶颈和能效问题,在不重新训练基础模型的前提下显著提升推理速度。

Hugging Face BlogT1·智能体与协同
68 分
LeRobot v0.5.0 发布:支持人形机器人及自回归 VLA

Hugging Face 发布 LeRobot v0.5.0,这是该框架迄今最大规模的更新。新版本首次引入对人形机器人的支持,并重新集成自回归视觉-语言-动作(VLA)模型策略,同时显著提升了数据集处理速度。此次更新包含超过 200 个合并的 PR,旨在全面扩展机器人学习生态的能力边界。