术语slug: dense-transformer

稠密 Transformer

Dense Transformer

每次前向传播都激活全部参数的标准 Transformer 结构,区别于按需稀疏激活的混合专家架构。

收录情报动态

共 1 篇 · 第 1/1 页
The DecoderT2·基座大模型
74 分
Ricursive 发布 Ripple-65B Preview 开源模型 智能体编程表现亮眼

AI 芯片设计公司 Ricursive Intelligence 训练并开源了 Ripple-65B Preview,该模型基于 12 万亿 token 预训练,采用 65B 稠密 Transformer 架构而非混合专家,在 TerminalBench 2.1 编程基准上取得 80.52 分,为美国开源模型最佳成绩。模型以 Apache 2.0 许可发布在 Hugging Face,官方称全部研发训练成本仅 3200 万美元,但综合基准仍不及同期发布的 Inkling 2 Small。

稠密 Transformer | Today for AI