术语slug: weight-quantization

权重量化

Weight Quantization

将模型参数从高精度转换为低精度以节省存储和带宽的技术

收录情报动态

共 3 篇 · 第 1/1 页
Artificial Analysis (@ArtificialAnlys)T1·开发与工程
58 分
Artificial Analysis 发布端点准确率指数 v1.1 近四分之一服务商低于基准

Artificial Analysis 推出端点准确率指数 v1.1,对 100 多个无服务器推理端点进行基准测试,发现近四分之一端点的准确率低于官方权重的自托管参考部署。该指数按工具调用、科学推理与长上下文召回三项等权评分,帮助开发者按准确率而非仅按价格与速度选择服务商。

vLLM 官方博客T1·开发与工程
68 分
Novita AI 开源 Chord:针对 Kimi K2.x 优化的 INT4 MoE CUDA 算子,在 H200 与 B300 上实现最高 2.15x 推理加速

Novita AI 开源了高性能 W4A16 MoE CUDA 算子 Chord,专为 Kimi K2.x 服务场景优化。该工具支持 BF16 激活与 INT4 权重,通过兼容 Humming 接口无缝集成至 vLLM。实测显示,Chord 在 H200 上提供约 1.1-1.3x 的加速,而在未调优的 B300 解码阶段性能提升高达 2.15x。