核心发布数据
-
2.8T
模型总参数量达到 2.8 万亿规模。
-
1M
原生上下文 100 万 token 处理窗口。
-
3
同步开源的核心基础设施组件数量。
架构选型与参数规模
月之暗面于 2026 年 7 月 27 日正式开放旗舰大模型 Kimi K3 的权重下载。作为首个达到 2.8 万亿（2.8T）参数规模的开源大模型，该模型在保持超大规模参数容量的同时，针对超长文本推理开销做出了关键架构调整。
技术架构上，Kimi K3 放弃了传统的全注意力机制，转而采用自主研发的 KDA（Kimi Delta Attention）混合线性注意力机制，并引入注意力残差（Attention Residuals）结构。月之暗面在 2.8 万亿参数规模下采用 KDA 架构，把传统 Attention 的二次方开销降到了线性复杂度。
长程推理与智能体表现
在能力评估中，Kimi K3 重点提升了超长上下文下的逻辑保持能力与原生视觉理解能力。模型支持 100 万 token 的上下文窗口，能够在多轮长对话和复杂工程代码库中保持精准追踪。
在长代码库排错、跨文件重构以及自主 Agent 任务编排场景下，模型展现出了极强的实用性。Kimi K3 在超长代码库排错与多步 Agent 协同任务中展现出接近顶尖闭源模型的完成度。
开源基础设施堆栈
-
MoonEP 专家并行库
负责超大规模 MoE 与分布式训练的专家并行调度。
-
FlashKDA 高性能算子
基于 CUDA 针对 KDA 结构进行极致硬件优化的算子实现。
-
AgentEnv 智能体评估环境
提供真实交互场景下的 Agent 长程执行与行为评估测试集。
全套底层基础设施同步开源
除了模型权重本身，月之暗面此次还推出了工业级训练与推理基础设施开源包。该开源套件包含分布式扩展库 MoonEP、GPU 硬件加速算子 FlashKDA 以及智能体评估框架 AgentEnv。
这一举措解决了以往大参数模型“开源权重却难以高效跑起来”的难题。厂商将生产级训练扩展框架与自定义 GPU 算子一并开放给社区，大幅降低了大模型的微调与私有化部署门槛。
获取方式与生态集成
目前 Kimi K3 的模型权重及相关组件已在 Hugging Face 与 ModelScope 平台同步上线。团队亦升级了开发者 API 接入通道。
开源社区开发者可以直接拉取权重进行本地化私有部署或二次微调。开发者既可在开源社区直接下载权重部署私有服务，也可通过 API 平台快速调用。