英伟达 Nemotron 3.5 Super VL 视觉语言模型正式登陆 Amazon SageMaker JumpStart,支持在 SageMaker Studio 或 Python SDK 中快速部署。该模型采用 120B 参数混合专家语言主干(激活 12B)搭配 C-RADIO 视觉编码器,支持百万级上下文、多 Token 预测投机解码与按请求配置推理强度,面向文档理解、GUI 智能体与视频问答场景。
多 Token 预测
Multi-Token Prediction (MTP)
单步预测多个未来 Token 的训练与解码机制,可支撑投机解码加速
收录情报动态
百度正式开源基座模型文心 5.5 Flash Base,采用 2800 亿总参数、每 Token 激活 140 亿的 MoE 架构,预训练使用 33.5 万亿 Token,微调与推理支持最长 100 万 Token 上下文。模型在知识、推理、数学、代码、多语言与长上下文等基准上取得同尺寸 SOTA,超过 DeepSeek-V4-Flash-Base 等同类模型。其核心创新围绕效率展开,包括 Latent-Gated Sparse Attention、Multi-Router Latent MoE 与复用主干末层的 ECHO 训练目标。
研究团队发现标准多 Token 预测(MTP)训练存在梯度缺陷:MTP 交叉熵梯度中混入低信噪比的残差项,随规模增大而愈发干扰下一 Token 预测与多 Token 学习。他们提出 KL 梯度恢复技巧,通过直通梯度路由从交叉熵梯度中精确还原 KL 自蒸馏项,实现 Soft-MTP——仅需一行代码改动,无需词表级 logit 矩阵,且兼容标准融合交叉熵内核。实验显示其在 1.2B 规模微调后数学与代码推理更强,多数指标不逊于直接最小化 KL。
JetBrains 开源发布 Mellum2.1 模型,通过扩展强化学习训练主体显著增强智能体编程能力。该模型在 H200 上高负载推理吞吐量接近 Qwen3.5-9B 的两倍,并支持本地部署以保障代码隐私。
vLLM 团队发布 vllm-metal,将 vLLM 的调度器、分页 KV 缓存和 OpenAI 兼容服务器引入 Apple Silicon。该工具利用 MLX 和 Metal 处理执行层,解决了 Mac 本地多请求并发时的首字延迟(TTFT)和内存管理问题。目前 v0.29.0 版本已支持 Homebrew 安装,并引入了批量多令牌预测(MTP)及 GGUF 模型支持。
vLLM 宣布对 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling 提供 Day-0 官方支持,涵盖 BF16 和 NVFP4 版本。该集成通过优化相对注意力、短卷积及共享专家 Sink 等新型架构组件,在 4 张 GB200 GPU 上实现了最高 380 tok/s(启用 MTP)的推理速度,并完整保留了 LoRA、并行策略及前缀缓存等功能特性。
谷歌针对 Pixel 手机上的 Gemini Nano 模型,提出了一种将多 Token 预测(MTP)架构“冻结”并集成到现有模型中的新方法。该方案旨在解决移动端自回归生成导致的内存带宽瓶颈和能效问题,在不重新训练基础模型的前提下显著提升推理速度。