Hacker News AIT2·开源与评测
58 分
ggml 发布 v1.0.0,标志着这一支撑 llama.cpp 生态的底层张量库首次进入正式版本化阶段。其核心卖点是无依赖纯 C/C++ 实现、跨 x86/ARM/RISC-V 等多架构、2 至 8 位整数量化并支持 MXFP4 与 NVFP4 微缩放格式,且运行时零内存分配。对本地推理与端侧部署开发者而言,这是生态稳定性的重要信号。
开放计算项目定义的 4 位微缩放浮点格式,以共享指数降低低精度推理的精度损失
ggml 发布 v1.0.0,标志着这一支撑 llama.cpp 生态的底层张量库首次进入正式版本化阶段。其核心卖点是无依赖纯 C/C++ 实现、跨 x86/ARM/RISC-V 等多架构、2 至 8 位整数量化并支持 MXFP4 与 NVFP4 微缩放格式,且运行时零内存分配。对本地推理与端侧部署开发者而言,这是生态稳定性的重要信号。
荷兰芯片初创企业 Axelera AI 公布第三代 AIPU 芯片 Titania 架构,瞄准数据中心推理市场,预计 2027 年第三季度量产,已获超 3 亿美元订单。该芯片针对稀疏 MoE 模型优化,FP8 算力达 2.5 PFLOPS,单台 4U 八卡服务器可本地运行 1.6T MoE 模型,官方称每瓦吞吐量可达现有数据中心服务器的 7 倍。
OpenAI 本周发布了 gpt-oss-120b 和 gpt-oss-20b,这是其自 2019 年 GPT-2 以来首次开放权重大型语言模型。文章深入剖析了该系列模型的架构演进,重点解读了通过 MXFP4 量化优化实现单卡本地运行的技术细节,并对比了其与 GPT-2 及后续闭源模型在宽度与深度权衡上的差异。