IT之家 · 智能时代T2·基座大模型
62 分
腾讯首席 AI 科学家姚顺雨率混元团队在 Reddit 进行 120 分钟 AMA,回应了外界关于参数量路线的质疑。团队称 Hy3 与 Hy4 证明扎实的小模型可超越更大模型且成本更低,但承认 Hy4 在后训练尤其是大规模强化学习上仍有很大改进空间,并明确计划训练更大规模模型,同时考虑推出 240 亿至 310 亿参数稠密模型。
Large-Scale Reinforcement Learning
在后训练阶段以强化学习提升模型推理与对齐能力的方法,混元团队称正重点投入
腾讯首席 AI 科学家姚顺雨率混元团队在 Reddit 进行 120 分钟 AMA,回应了外界关于参数量路线的质疑。团队称 Hy3 与 Hy4 证明扎实的小模型可超越更大模型且成本更低,但承认 Hy4 在后训练尤其是大规模强化学习上仍有很大改进空间,并明确计划训练更大规模模型,同时考虑推出 240 亿至 310 亿参数稠密模型。