术语slug: looped-transformer

循环 Transformer

Looped Transformer

复用同一组层多次迭代计算的 Transformer 变体,以较少参数换取更深推理

收录情报动态

共 12 篇 · 第 1/2 页
Marktechpost (@Marktechpost)T2·基座大模型
78 分
Thinking Machines 开源 26.4B 循环 Transformer 模型

Thinking Machines 发布 Inkling 2 Mini,采用循环 Transformer 架构:仅存储 24 层,中间 12 层以共享权重重复运行 3 次,单 token 实际经过 48 层计算,约 20GB 检查点即可在 32GB Mac 上本地运行。模型总参数 26.4B、激活 3.4B,支持 1M 上下文,以 Apache 2.0 开源,SWE-bench Verified 达 79.2%,DeepSWE 1.1 以 48.2% 超过 Qwen3.8-27B 的 42.2%,但知识召回明显偏弱。

The DecoderT2·基座大模型
78 分
Thinking Machines 开源 264 亿参数循环 Transformer 模型

Thinking Machines 发布开源模型 Inkling 2 Mini,采用循环 Transformer 架构,24 层中有 12 层对每个 token 重复执行三次,从而在不增加输出 token 的前提下延长内部推理。该模型为 26.4B 参数的混合专家模型,每 token 激活 5.4B,支持文本与图像输入、100 万 token 上下文,采用 Apache 2.0 许可,可在笔记本上运行。在 100B 以下开源模型中,其智能体编程测试成绩领先,DeepSWE v1.1 得分 48.2%,Vals Index v2.2 得分 46.5%。

机器之心 (微信公众号)T2·基座大模型
78 分
TML 开源 26B 循环 Transformer 模型,笔记本可跑

Thinking Machines Lab 以 Apache 2.0 许可开源了 Inkling 2 Mini,这是一个总参数 26B 的多模态循环 Transformer,支持文本与图像输入,上下文窗口达 100 万 token,并可通过 Tinker 进行推理与微调。官方演示在 48GB 内存的 M5 Pro MacBook Pro 上断网本地运行,数分钟内生成可玩的飞行模拟器,AA Index 得分 20.1,主打个人设备上的智能体能力。

Artificial AnalysisT1·基座大模型
78 分
Thinking Machines 开源 26B 循环 Transformer 模型

Thinking Machines 发布 Inkling 2 Mini,一款总参数 26B、激活参数 5.4B 的混合专家模型,采用循环层(looped transformer)架构,以 Apache 2.0 协议开源,支持文本与图像输入及 100 万 token 上下文。它在 Artificial Analysis 智能指数上取得 20 分,与 Qwen3.8 27B、Nanbeige4.3-33B 持平,但激活参数分别少约 5 倍和 6 倍,处于智能与参数规模的帕累托前沿,且小到可在 MacBook 或 DGX Spark 上本地运行。

Artificial Analysis (@ArtificialAnlys)T1·基座大模型
78 分
Thinking Machines 发布 Inkling 2 Mini 开源模型

Thinking Machines 发布 Inkling 2 Mini,这是一款总参数 26B、激活参数 5.4B 的循环 Transformer 混合专家模型,在 Artificial Analysis 智能指数上得分 20,处于智能与激活参数权衡的帕累托前沿。模型采用 Apache 2.0 许可,支持文本与图像输入及 1M token 上下文,体积小到可在 MacBook 或 DGX Spark 上本地运行。

Hacker News AIT2·基座大模型
74 分
Inkling 2 Mini 发布 26.4B 参数可跑在笔记本

Inkling 发布开源权重模型 Inkling 2 Mini,采用循环 Transformer 架构,对每个 token 重复运行中间层三次,以更少 token 完成推理。该模型为 MoE 结构,总参数 26.4B、激活 3.4B,在 DeepSWE v1.1 取得 48.2%、Vals Index v2.2 取得 46.5%,称领先所有 100B 以下开源权重模型,并可在笔记本本地运行。

Hugging Face BlogT1·基座大模型
74 分
Thinking Machines 发布 Inkling 2 Mini 循环 Transformer 模型

Thinking Machines Lab 与 Hugging Face 联合发布 Inkling 2 Mini,这是一款面向本地部署的多模态混合专家模型,物理参数约 26B、每 token 激活 3B。其核心创新在于部分层循环三次以放大有效容量,支持 100 万 token 上下文与图文输入,并以 NVFP4/MXFP8 混合精度权重加 DSpark 草稿模型实现加速。