术语slug: batch-size

批次大小

Batch Size

每次参数更新所使用的样本数量

收录情报动态

共 3 篇 · 第 1/1 页
Marktechpost (@Marktechpost)T2·算力与基建
74 分
Together AI 发布 Together Compiler 让智能体持续热重载推理前向

Together AI 推出 Together Compiler,让 AI 智能体在生产流量变化时持续重调推理前向计算。其核心是常驻服务引擎配合热重载,无需重启即可加载智能体改写的前向实现,并用 12 层快速筛选加 60 层慢速验证的双层机制确认真实流量收益。官方称在 SemiAnalysis InferenceX 上最多提升 2.6 倍 TPS,但部分场景增益有限且数据均为自报,系统闭源并已上线其无服务器端点。

腾讯混元 (Tencent Hunyuan)T1·基座大模型
68 分
LLM RL 批量规模效应研究:揭示大 Batch 在特定阈值下加速收敛的机制与失效边界

最新研究深入剖析了大语言模型强化学习(RL)中批量大小(Batch Size)对训练效率的非线性影响。实验表明,在重新调整学习率后,中等规模的批量(如 B、2B、4B)能通过提升吞吐量显著缩短达到验证目标的时间;然而,当批量扩大至 16B 时,额外的样本计算成本超过了吞吐量收益,导致训练路径反而变慢。该发现为优化 RLHF 或 RLAIF 流程中的算力分配提供了具体的量化依据。

OpenAI 官方博客T1·基座大模型
68 分
OpenAI 提出梯度噪声尺度预测训练并行性

OpenAI 发现“梯度噪声尺度”这一统计指标能有效预测神经网络训练的并行化潜力。研究表明,复杂任务通常伴随更高的梯度噪声,这意味着未来可通过增大批次规模来突破算力瓶颈,推动 AI 系统持续扩展。该成果将模型训练从依赖经验的“玄学”转化为可量化、系统化的科学过程。