IT之家 · 智能时代T2·算力与基建
42 分
联想 P7 AI 主机正式开启预约,采用此芯科技 P1 SoC 搭配后摩智能 M50 dNPU 的异构计算方案。该设备提供 190 TOPS 本地算力,支持 122B 参数大模型在 128K 上下文窗口下运行,整机功耗仅 30W。
Tokens Per Second
大语言模型每秒生成的文本单元数量指标
联想 P7 AI 主机正式开启预约,采用此芯科技 P1 SoC 搭配后摩智能 M50 dNPU 的异构计算方案。该设备提供 190 TOPS 本地算力,支持 122B 参数大模型在 128K 上下文窗口下运行,整机功耗仅 30W。
OpenAI Codex 负责人宣布启动为期28天的密集更新计划,首日交付 GPT-6 Astra 和 Sol 模型约50%的默认推理速度提升。尽管官方强调性能优化,但因前期负载问题及商业化争议,社区反馈以嘲讽为主,认为此举是公关补救而非实质突破。
vLLM 社区针对 Qwen3.5 的混合注意力架构(全注意力与 GDN 层)完成深度优化,在 NVIDIA GB200 NVL72 系统上实现了单 GPU 超过 25K TPS 的推理吞吐量。通过解决异构状态传输与 Blackwell GPU 上的 GDN 计算加速难题,该方案显著提升了分离式服务(Disaggregated Serving)的性能上限。