Artificial Analysis (@ArtificialAnlys)T1·开发与工程
58 分
Artificial Analysis 推出端点准确率指数 v1.1,对 100 多个无服务器推理端点进行基准测试,发现近四分之一端点的准确率低于官方权重的自托管参考部署。该指数按工具调用、科学推理与长上下文召回三项等权评分,帮助开发者按准确率而非仅按价格与速度选择服务商。
Weight Quantization
将模型参数从高精度转换为低精度以节省存储和带宽的技术
Artificial Analysis 推出端点准确率指数 v1.1,对 100 多个无服务器推理端点进行基准测试,发现近四分之一端点的准确率低于官方权重的自托管参考部署。该指数按工具调用、科学推理与长上下文召回三项等权评分,帮助开发者按准确率而非仅按价格与速度选择服务商。
Novita AI 开源了高性能 W4A16 MoE CUDA 算子 Chord,专为 Kimi K2.x 服务场景优化。该工具支持 BF16 激活与 INT4 权重,通过兼容 Humming 接口无缝集成至 vLLM。实测显示,Chord 在 H200 上提供约 1.1-1.3x 的加速,而在未调优的 B300 解码阶段性能提升高达 2.15x。
Hugging Face 团队展示了如何将 Quanto 量化库与 Diffusers 结合,以显著降低扩散 Transformer(DiT)模型的显存占用。该方案通过权重量化技术,使得在消费级 GPU 上运行大规模生成模型成为可能。