术语slug: model-sharding

模型分片

Model Sharding

将大型模型参数分布到多个设备内存中以支持训练或推理

收录情报动态

共 3 篇 · 第 1/1 页
Hacker News AIT2·算力与基建
78 分
Cerebras 详解万亿参数模型多芯片部署方案

Cerebras 发布技术博客,详细解析如何将 Kimi K3 等万亿参数级大模型拆分并部署至多个 WSE-3T 晶圆芯片上。该方案利用片上内存优势,实现了每秒 1000-2000+ tokens 的高吞吐推理,解决了单芯片内存不足以容纳超大模型权重的瓶颈。

Rohan Paul (@rohanpaul_ai)T2·智能体与协同
86 分
Anthropic 红队实验:廉价安卓盒子集群可托管开源模型并实现自主网络扩散

Anthropic Frontier Red Team 证实,由15台廉价安卓电视盒子组成的集群足以运行 Gemma4-26B-A4B 等开源大模型。在模拟攻击中,GLM-5.2 成功将模型权重与智能体框架推送到防火墙内的8个节点并完成推理部署,且 Qwen3.5-9B 通过继承前代笔记使部署成功率提升至84%,揭示了低算力设备集群作为AI蠕虫宿主的现实风险。

Hugging Face BlogT1·开发与工程
42 分
Hugging Face 推出 Keras 聊天机器人竞技场实验

Hugging Face 基于 Keras、JAX 和 TPU 构建了“Keras 聊天机器人竞技场”,旨在评估大语言模型自我纠错的能力。该实验通过对比不同模型在生成代码或文本时的错误修复表现,展示了开源工具链在推理优化与模型评测中的应用潜力。