术语slug: looped-layers

循环层

Looped Layers

同一组层以共享权重对每个 token 多次执行,各轮保留独立 KV 缓存并传递门控消息的架构。

收录情报动态

共 1 篇 · 第 1/1 页
vLLM 官方博客T1·基座大模型
78 分
Thinking Machines 发布 Inkling 2 Mini 循环层模型

Thinking Machines 发布多模态 MoE 模型 Inkling 2 Mini,总参数 26B、激活参数 3.5B,支持最高 100 万 token 上下文,并内置 DSpark 推测器。其核心创新在于中间 12 层以共享权重循环执行三次,每轮保留独立 KV 缓存并读取上一轮的门控消息。vLLM 在 NVIDIA Blackwell、Hopper 与 DGX Spark 上实现 Day-0 支持。