新智元 (微信公众号)T2·78 分
清华开源 Puro-2B:RTX 5090 集群低成本预训练方案
原标题:小团队也能预训练!普罗2B:RTX5090训练成本不到5090美元
- Puro-2B 实现了从数据、框架到权重的全流程开源,填补了低成本可复现预训练方案的空白。
- 利用消费级 RTX 5090 显卡集群,将 20 亿参数模型的预训练成本压缩至约 4400 美元。
- 相比 OLMo 等现有开源方案,Puro-2B 在保持性能竞争力的同时,大幅降低了硬件依赖与资金门槛。
AI 聚合热点事件 · 2026/10/15
清华大学团队发布全流程开源的 Puro-2B 模型,提供了一套基于消费级显卡的低成本预训练方案。该方案在 RTX 5090 集群上以约 4400 美元成本完成了 20 亿参数模型的训练,显著降低了中小团队复现大模型预训练的算力门槛。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:小团队也能预训练!普罗2B:RTX5090训练成本不到5090美元