vLLM 官方博客T1·78 分
蚂蚁集团开源 Humming 量化推理内核库
原标题：Announcing Humming: Fast, Flexible Kernels for Quantized Inference
- 支持从 Turing 架构起的 NVIDIA GPU 及 T-Head 等兼容 CUDA 的国产设备
- 统一架构支持密集与 MoE 模型的多种整数/浮点量化组合
- 基准测试显示其执行性能显著超越 vLLM Marlin、FlashInfer 和 DeepGEMM
返回热点榜
opensource热度 16.8°
AI 聚合热点事件 · 2026/10/21
蚂蚁集团开源 Humming 量化推理内核库
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/10/21 08:00:00
全景综述与最新动态
1 家信源交叉印证蚂蚁集团联合 vLLM 社区开源了高性能量化推理内核库 Humming。该库支持 NVIDIA 及国产芯片，覆盖多种权重与激活格式组合，在密集和 MoE 负载上性能显著优于 Marlin、FlashInfer 等现有实现。
最新动向/蚂蚁集团联合 vLLM 社区开源了高性能量化推理内核库 Humming。该库支持 NVIDIA 及国产芯片，覆盖多种权重与激活格式组合，在密集和 MoE 负载上性能显著优于 Marlin、FlashInfer 等现有实现。
热度曲线逐小时热度走势
3 个完整观测小时当前
16.8
峰值
17.813:00
近 24h 变化
–
曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。