术语slug: inference-optimization

推理优化

Inference Optimization

提升模型预测速度、降低延迟或减少计算资源消耗的技术手段

收录情报动态

共 10 篇 · 第 1/1 页
InfoQ 中文T2·基座大模型
78 分
英伟达基于 MiniMax H3 开发视频模型

英伟达研究团队罕见地选择中国公司 MiniMax 的开源多模态模型 H3 作为基座,开发了包括 Open-H3-Regenerate-2K 在内的多个视频生成与优化项目。H3 凭借统一的多模态理解能力、开放的权重以及兼顾质量与成本的特性,吸引了 Pika、fal 等垂直应用厂商及 NVIDIA 进行后训练和推理优化,展现了开源模型在商业生态中的核心底座价值。

AWS Machine Learning BlogT1·开发与工程
42 分
Amazon SageMaker 推出 MCP 技能优化推理

Amazon SageMaker AI 发布 `aws-ai-ml` 技能,通过 Agent Toolkit for AWS 集成至支持 MCP 协议的编码代理(如 Kiro、Claude Code)。该工具赋予代理自动基准测试端点、推荐部署配置及生成 SDK v3 代码的能力,旨在简化从模型到生产环境的推理优化流程。

Hugging Face BlogT1·开发与工程
25 分
BLOOM 推理加速教程:DeepSpeed 与 Accelerate

该文章是一篇关于如何使用 DeepSpeed 和 Hugging Face Accelerate 库来优化 BLOOM 大模型推理速度的技术教程。由于提供的正文内容仅包含标题,缺乏具体的代码实现、性能基准数据或配置细节,无法评估其实际技术深度。

Hugging Face BlogT1·开发与工程
25 分
Graphcore 发布 ViT 优化教程

Hugging Face Optimum Graphcore 团队发布了关于 Vision Transformers (ViT) 的深度技术解析。该教程旨在指导开发者如何在 Graphcore IPU 上高效部署和优化视觉大模型,属于特定硬件平台的工具链使用指南。

Hugging Face BlogT1·开发与工程
35 分
Hugging Face 优化推理 API 提速百倍

Hugging Face 宣布其托管的加速推理 API 实现了高达 100 倍的 Transformer 模型推理速度提升。该优化旨在解决大规模模型在生产环境部署中的性能与扩展性难题,主要面向付费企业客户。