InfoQ 中文T2·基座大模型
72 分
范式智能于 11 月 18 日无预告发布 Phai-A1 语言模型与 Phai-M1 视频模型。Phai-A1 采用 MoE 架构,总参数 350 亿但每 token 仅激活 30 亿,在同等质量下响应速度比同参数级别模型快 8-10 倍,并原生支持百万级上下文。两款模型基于国产算力训练,标志着国产 AI 算力生态从推理走向规模训练。
一种扩展大模型上下文窗口的位置编码外推方法,通过插值调整旋转位置编码。
范式智能于 11 月 18 日无预告发布 Phai-A1 语言模型与 Phai-M1 视频模型。Phai-A1 采用 MoE 架构,总参数 350 亿但每 token 仅激活 30 亿,在同等质量下响应速度比同参数级别模型快 8-10 倍,并原生支持百万级上下文。两款模型基于国产算力训练,标志着国产 AI 算力生态从推理走向规模训练。