术语slug: transformer

Transformer

基于自注意力机制的神经网络架构,是现代大语言模型的基础

收录情报动态

共 27 篇 · 第 1/3 页
Hacker News AIT2·基座大模型
38 分
科幻小说对 AI 发展的预测准确度有多高

文章以厄休拉·勒古恩“科幻是描述而非预测”的观点为出发点,梳理过去十年 AI 的真实发展路径,并将《软件对象的生命周期》《伽拉泰亚 2.2》等经典科幻作品与 Transformer 崛起、大模型规模化落地等现实事件逐一对照打分。作者认为,科幻的价值不在于精准预言技术路线,而在于展示变化发生的具体机制。

腾讯技术工程 (微信公众号)T2·基座大模型
48 分
三万字长文科普大语言模型原理:从预测下一个词到 Transformer 架构演进

这是一篇面向零基础读者的三万字深度科普长文,旨在通过“一条线”逻辑串联大语言模型的核心机制。文章从信息论与图灵测试出发,逐步拆解自回归生成、Transformer 架构及预训练过程,重点阐释了为何仅靠预测下一个 token 的程序能涌现出智能特征。内容涵盖数学基础推导至产品化落地,适合希望系统理解 LLM 底层逻辑而非仅关注应用层的读者。

量子位官网T2·算力与基建
68 分
硅谷算力争夺战白热化:SpaceX 转售 GPU 获利,谷歌因资源短缺致核心人才流失

AI 行业进入“算力即权力”阶段,Anthropic CEO Dario Amodei 向 Meta 求援未果后,转而通过 SpaceX 获取英伟达 GPU 算力,推动后者 AI 业务收入同比激增 247%。与此同时,谷歌内部因算力分配不均导致 Transformer 架构师 Noam Shazeer 等顶级科学家跳槽至 OpenAI,凸显算力瓶颈已成为制约巨头研发与人才留存的核心变量。

TechCrunch AIT2·商业与生态
28 分
本·阿弗莱克展示 AI 技术素养:以 $5.87 亿出售初创公司并阐述电影行业应用观点

演员兼创业者 Ben Affleck 因在访谈中熟练运用神经网络、Transformer 等术语而引发关注,此前他已将 AI 电影制作初创公司以 5.87 亿美元出售给 Netflix。Affleck 认为 AI 对电影业是“增量式”辅助而非颠覆性威胁,并强调负责任使用与防止习得性无助的重要性。该事件主要体现名人跨界影响力及行业观点,缺乏具体技术突破或产品发布实质内容。

Ahead of AI (Sebastian Raschka)T2·基座大模型
68 分
OpenAI 发布 gpt-oss:自 GPT-2 后首个开源权重模型解析

OpenAI 本周发布了 gpt-oss-120b 和 gpt-oss-20b,这是其自 2019 年 GPT-2 以来首次开放权重大型语言模型。文章深入剖析了该系列模型的架构演进,重点解读了通过 MXFP4 量化优化实现单卡本地运行的技术细节,并对比了其与 GPT-2 及后续闭源模型在宽度与深度权衡上的差异。

Hugging Face BlogT1·开源与评测
48 分
Hugging Face NLP 课程升级为 LLM 课程

Hugging Face 宣布将其经典的 NLP 课程全面重构为 LLM 课程,以反映大模型时代的技术范式转移。新版课程将涵盖从基础 Transformer 到现代 LLM 训练、微调及部署的全链路知识,并计划引入交互式练习与直播环节。

OpenAI 官方博客T1·基座大模型
92 分
OpenAI 发布 Sora:视频生成模型作为世界模拟器

OpenAI 正式公布其文本到视频生成模型 Sora,提出“视频生成模型即世界模拟器”的核心论点。该模型基于扩散 Transformer 架构,在大规模视频数据上进行训练,能够生成长达一分钟的高保真、连贯且符合物理规律的视频内容。这一突破标志着多模态生成从静态图像向动态时空模拟的关键跨越。