术语slug: pre-training

预训练

Pre-training

在大规模无标签数据上学习通用特征表示的过程

收录情报动态

共 19 篇 · 第 1/2 页
量子位官网T2·基座大模型
72 分
腾讯混元 Hy4 发布 调用激增致 WorkBuddy 十倍扩容

腾讯发布新一代大语言模型混元 Hy4,首次引入视觉理解能力,并显著扩展预训练与后训练规模。上线首日调用量激增,腾讯对 WorkBuddy 推理集群进行十倍扩容并提升免费额度。Hy4 在 Artificial Analysis 智能指数中位列中国模型第二,在 Agent Arena 榜单居开源模型第一,单任务成本约 0.78 美元,性价比突出。

IT之家 · 智能时代T2·基座大模型
58 分
腾讯混元 Hy4 调用激增 推理集群紧急扩容十倍

腾讯混元 Hy4 正式版在 WorkBuddy 首发接入后首日即出现大量用户触及额度,官方对推理集群紧急扩容十倍并上调免费体验额度,同时将 Hy3 限免延长至 11 月 15 日。Hy4 相比预览版显著扩展预训练与后训练规模,首次引入视觉能力,官方称其首次跻身最强开源模型之列,并将在近期开源权重与系统卡片。

Hacker News AIT2·基座大模型
72 分
腾讯发布 Hy4 开源模型 首次加入视觉能力

腾讯正式发布 Hy4,相比预览版大幅扩展预训练与后训练规模,首次引入视觉能力,并在指令遵循、长上下文理解、长程任务与深度研究等维度显著提升。官方称其首次跻身最强开源模型行列,并通过与腾讯产品团队协同设计提升实际生产力场景的可用性。

IT之家 · 智能时代T2·基座大模型
78 分
腾讯混元 Hy4 正式版发布 首次引入视觉与电脑操作能力

腾讯发布混元 Hy4 正式版,相比 preview 版显著扩展预训练与后训练规模,首次引入视觉理解与电脑操作能力,并大幅提升指令遵循、长文理解与长程任务表现。官方称其首次跻身最强开源模型之列,计划近期开源权重并联合 vLLM/SGLang 生态提供支持,但坦承在数学、长程开发等高难度测试集上仍与顶尖闭源模型存在较大差距。

IT之家 · 智能时代T2·基座大模型
86 分
微软完成 2.8T 参数 MAI-Base-2 预训练,算力效率超 DeepSeek-V4-Pro

微软宣布完成新一代基础模型 MAI-Base-2 的预训练,该模型总参数达 2.8T(活跃参数 80B),性能超越所有参测开源权重模型。其预训练算力效率据称是 DeepSeek-V4-Pro-Base 的 4 至 12 倍,得益于科学规模化、模型-基础设施协同设计及数据规模化三大举措。目前微软已启动下一代 MAI-Base-3 的准备工作。

IT之家 · 智能时代T2·基座大模型
78 分
微软发布 MAI-Base-2:宣称以 OpenAI 四分之一算力实现性能超越,挑战 GPT-5.6 底层模型

微软 AI CEO 穆斯塔法·苏莱曼宣布自研基础模型 MAI-Base-2 在预训练阶段性能超过支撑 GPT-5.6 的 OpenAI 内部模型,且仅使用对方四分之一的算力。该模型还声称计算效率优于 DeepSeek,所需算力仅为后者的十二分之一,标志着微软在摆脱对 OpenAI 依赖、构建自主高效大模型底座方面取得关键进展。

IT之家 · 智能时代T2·基座大模型
78 分
Meta 发布 Muse Wonder 旗舰模型:代码能力大幅跃升,直接对标 Anthropic 与 OpenAI 前沿性能

Meta 正式推出 Muse Wonder 与 Muse Wonder Full 两款旗舰 AI 模型,在推理、写作及代码测试中得分逼近 Anthropic 顶尖水平。作为 Meta 首款宣称对标前沿大模型的产品,其底层由首席 AI 官 Alexandr Wang 团队主导研发,旨在通过提升代码生成能力切入由竞品主导的 AI 编程市场,并为智能体应用 Muse 提供核心动力。

GitHub Trending AIT2·开源与评测
68 分
LLMs-from-scratch 获 10.6 万星:从零构建 GPT 教程

Sebastian Raschka 的开源项目 LLMs-from-scratch 在 GitHub 获得超 10.6 万星标,成为大模型底层原理学习的标杆资源。该项目配套同名书籍,提供从数据预处理、Transformer 架构实现到预训练及微调的全流程代码,旨在帮助开发者通过手写代码深入理解 LLM 内部机制。