《苦涩的教训》作者 Sutton 发推澄清,光靠暴力计算不足以实现真正智能,仍需巧妙的新方法,AI 科学远未终结。讨论者进一步指出,该文反对的是把人类小聪明硬编码进系统,而非反对算法与架构层面的精巧创新。
Transformer
基于自注意力机制的神经网络架构,是现代大语言模型的基础
收录情报动态
文章以厄休拉·勒古恩“科幻是描述而非预测”的观点为出发点,梳理过去十年 AI 的真实发展路径,并将《软件对象的生命周期》《伽拉泰亚 2.2》等经典科幻作品与 Transformer 崛起、大模型规模化落地等现实事件逐一对照打分。作者认为,科幻的价值不在于精准预言技术路线,而在于展示变化发生的具体机制。
这是一篇面向零基础读者的三万字深度科普长文,旨在通过“一条线”逻辑串联大语言模型的核心机制。文章从信息论与图灵测试出发,逐步拆解自回归生成、Transformer 架构及预训练过程,重点阐释了为何仅靠预测下一个 token 的程序能涌现出智能特征。内容涵盖数学基础推导至产品化落地,适合希望系统理解 LLM 底层逻辑而非仅关注应用层的读者。
AI 行业进入“算力即权力”阶段,Anthropic CEO Dario Amodei 向 Meta 求援未果后,转而通过 SpaceX 获取英伟达 GPU 算力,推动后者 AI 业务收入同比激增 247%。与此同时,谷歌内部因算力分配不均导致 Transformer 架构师 Noam Shazeer 等顶级科学家跳槽至 OpenAI,凸显算力瓶颈已成为制约巨头研发与人才留存的核心变量。
演员兼创业者 Ben Affleck 因在访谈中熟练运用神经网络、Transformer 等术语而引发关注,此前他已将 AI 电影制作初创公司以 5.87 亿美元出售给 Netflix。Affleck 认为 AI 对电影业是“增量式”辅助而非颠覆性威胁,并强调负责任使用与防止习得性无助的重要性。该事件主要体现名人跨界影响力及行业观点,缺乏具体技术突破或产品发布实质内容。
开源 NLP 库 spaCy 发布 v3.8 版本,重点增强了大型语言模型(LLM)在管道中的集成能力。该版本继续支持 70+ 种语言的预处理及基于 Transformer 的多任务学习,旨在为生产环境提供更高效的自然语言处理工具链。
OpenAI 本周发布了 gpt-oss-120b 和 gpt-oss-20b,这是其自 2019 年 GPT-2 以来首次开放权重大型语言模型。文章深入剖析了该系列模型的架构演进,重点解读了通过 MXFP4 量化优化实现单卡本地运行的技术细节,并对比了其与 GPT-2 及后续闭源模型在宽度与深度权衡上的差异。
Hugging Face 宣布将其经典的 NLP 课程全面重构为 LLM 课程,以反映大模型时代的技术范式转移。新版课程将涵盖从基础 Transformer 到现代 LLM 训练、微调及部署的全链路知识,并计划引入交互式练习与直播环节。
OpenAI 正式公布其文本到视频生成模型 Sora,提出“视频生成模型即世界模拟器”的核心论点。该模型基于扩散 Transformer 架构,在大规模视频数据上进行训练,能够生成长达一分钟的高保真、连贯且符合物理规律的视频内容。这一突破标志着多模态生成从静态图像向动态时空模拟的关键跨越。
文章仅以“是的,Transformer 对时间序列预测有效”为标题,未提供具体实验数据、方法论细节或 Autoformer 的实际性能对比。缺乏实质技术内容支撑其结论。