术语slug: attention-mechanism

注意力机制

Attention Mechanism

Transformer 中建模序列与图像全局依赖的核心计算机制,在扩散生图中开销占比高

收录情报动态

共 11 篇 · 第 1/2 页
IT之家 · IT业界T2·商业与生态
58 分
Anthropic 与 OpenAI 遭五项神经网络专利诉讼

美国公司 Flinn AI 于 11 月 12 日在特拉华州联邦法院对 Anthropic 和 OpenAI 提起两起专利侵权诉讼,指控两家公司侵犯其五项与迭代式注意力神经网络训练相关的专利,涉案专利最早可追溯至 2015 至 2016 年的申请。诉状将 Claude 系列模型的注意力推理、检索、记忆、智能体及多模态功能列为侵权对象,OpenAI 面临类似指控。同期还有非营利组织起诉多家 AI 公司,试图阻止其开发先进模型。

IT之家 · 智能时代T2·算力与基建
58 分
摩尔线程 MTT S5000 完成 MiniMax H3-Image 首日适配

摩尔线程宣布其 MTT S5000 智算卡与 MUSA 软件栈在 MiniMax H3-Image 开源当日即完成适配,可单卡生成 4096×4096 高分辨率图像。适配复用 SGLang、MATE、MCCL 等组件,重点优化扩散模型注意力机制在多参考图场景下的高开销,为后续生图、生视频模型的 Day-0 适配铺路。

Hacker News AIT2·开发与工程
68 分
开发者利用 DOOM 游戏机制构建神经网络并实现数字识别

一位开发者利用《DOOM》游戏中的巫毒娃娃、传送带和岩浆等物理机制,成功构建了一个可运行的神经网络。该系统通过模拟矩阵乘法和注意力机制,在 Colab 中实现了手写数字的精确识别,并与 NumPy 参考结果完全一致。这一项目展示了在游戏引擎中实现复杂计算逻辑的可能性,兼具教育意义与技术趣味性。

Hacker News AIT2·开发与工程
58 分
Node.js 从零构建 LLM 开源教程:用 TypeScript 实现注意力机制与训练循环

该项目提供了一套在 Node.js/TypeScript 环境中从零构建大语言模型的完整教程,涵盖数据加载、嵌入层、注意力机制及 Transformer 块等核心组件。所有代码均封装为可运行的 GitHub 包,旨在通过非 Python 语言的重新实现帮助开发者深入理解模型底层原理,消除“黑盒”认知障碍。

Hacker News AIT2·基座大模型
68 分
Quanta 深度解析注意力机制:从 Bahdanau 2014 原型到 Transformer 核心数学原理的演进

文章追溯了注意力机制(Attention)作为现代 AI 基石的历史起源,重点剖析了 Dzmitry Bahdanau 在 2014 年提出的早期神经机器翻译模型如何突破传统瓶颈。通过数学视角阐释该机制为何能支撑大规模语言处理,揭示了其从简单加权求和演变为 Transformer 架构核心的内在逻辑与理论必然性。

Hugging Face BlogT1·开发与工程
68 分
PyTorch 性能剖析系列第三篇:深入解析注意力机制瓶颈

Hugging Face 发布 PyTorch 性能剖析系列教程第三部分,聚焦于 Transformer 中注意力机制的性能瓶颈分析。文章指导开发者如何利用 profiler 追踪数据识别计算热点,并针对注意力层进行具体优化实践。该教程提供了从理论到代码的完整调试路径,适合需要提升模型推理效率的工程人员。

Ahead of AI (Sebastian Raschka)T2·基座大模型
42 分
Sebastian Raschka 发布 LLM 架构可视化指南

AI 教育者 Sebastian Raschka 上线了一个包含 45 种主流大模型架构的可视化画廊,旨在系统梳理注意力机制变体。该资源整合了过往文章与未收录的重要架构,提供直观的模型卡片以辅助理解不同设计原理。

Google ResearchT1·基座大模型
78 分
Google 提出 Titans 架构:结合神经记忆与注意力机制突破长上下文限制

谷歌发布 Titans 及 MIRAS 研究,提出一种将在线优化、联想记忆与架构设计相结合的新型序列模型。该方案旨在解决 Transformer 在超长上下文中的计算瓶颈,通过引入非欧几里得范式的神经长期记忆模块,实现比传统 RNN/SSM 更强的信息捕获能力。这一进展为构建具备真正“长期记忆”的 AI 系统提供了新的理论框架和架构路径。