术语slug: ddp

分布式数据并行

DDP

将数据分片至多个设备并行计算梯度并同步更新的训练策略

收录情报动态

共 1 篇 · 第 1/1 页
GitHub Trending AIT2·开源与评测
68 分
LLMs-from-scratch 获 10.6 万星:从零构建 GPT 教程

Sebastian Raschka 的开源项目 LLMs-from-scratch 在 GitHub 获得超 10.6 万星标,成为大模型底层原理学习的标杆资源。该项目配套同名书籍,提供从数据预处理、Transformer 架构实现到预训练及微调的全流程代码,旨在帮助开发者通过手写代码深入理解 LLM 内部机制。