TGI 原生集成 Intel Gaudi 加速 LLM 推理

原标题:🚀 Accelerating LLM Inference with TGI on Intel Gaudi
48AI 研判分

Hugging Face 宣布将 Intel Gaudi 硬件支持原生集成至 Text Generation Inference (TGI) 主代码库。此举旨在为开源社区提供基于专用 AI 加速器的生产级 LLM 部署选项,优化推理性能与灵活性。

报道正文

本文目录6 个章节

返回文章列表

🚀 在 Intel Gaudi 上使用 TGI 加速 LLM 推理

发布于 2025 年 3 月 28 日 在 GitHub 上更新 点赞 14

Baptiste Colle baptistecolle Régis Pierrard regisss Ilyas Moutawwakil IlyasMoutawwakil Ella Charlaix echarlaix Ke Ding kding1 Intel

我们很高兴地宣布,Intel Gaudi 硬件支持已原生集成到 Text Generation Inference (TGI) 中。TGI 是我们面向大语言模型(LLMs)的生产级服务解决方案。此次集成将 Intel 专用 AI 加速器的强大性能引入我们的高性能推理栈,为开源 AI 社区提供了更多部署选项 🎉

✨ 新特性有哪些?

我们在 PR #3091 中将 Gaudi 支持完全整合到了 TGI 的主代码库中。此前,我们为 Gaudi 设备维护了一个独立的分支仓库 tgi-gaudi。这对用户来说颇为不便,也导致我们无法在发布时同步支持最新的 TGI 功能。现在,借助新的 TGI 多后端架构,我们可以直接在 TGI 中支持 Gaudi——无需再依赖自定义仓库 🙌

此次集成支持 Intel 全系列 Gaudi 硬件:

您也可以在 Intel 的 Gaudi 产品页面 上找到更多关于 Gaudi 硬件的信息

🌟 为什么这很重要

TGI 的 Gaudi 后端提供了多项关键优势:

  • 硬件多样性 🔄:为生产环境部署 LLM 提供更多选择,不再局限于传统 GPU
  • 成本效益 💰:针对特定工作负载,Gaudi 硬件通常能提供极具竞争力的性价比
  • 生产就绪 ⚙️:TGI 的所有稳健特性(如动态批处理、流式响应等)现已在 Gaudi 上可用
  • 模型支持 🤖:可在 Gaudi 硬件上运行 Llama 3.1、Mixtral、Mistral 等热门模型
  • 高级功能 🔥:支持多卡推理(分片)、视觉语言模型以及 FP8 精度

🚦 在 Gaudi 上开始使用 TGI

在 Gaudi 上运行 TGI 最简单的方法是使用我们的官方 Docker 镜像。你需要在配备 Gaudi 硬件的机器上运行该镜像。以下是一个入门基本示例:

BASH
model=meta-llama/Meta-Llama-3.1-8B-Instruct 
volume=$PWD/data 
hf_token=YOUR_HF_ACCESS_TOKEN

docker run --runtime=habana --cap-add=sys_nice --ipc=host \
 -p 8080:80 \
 -v $volume:/data \
 -e HF_TOKEN=$hf_token \
 -e HABANA_VISIBLE_DEVICES=all \
 ghcr.io/huggingface/text-generation-inference:3.2.1-gaudi \
 --model-id $model 

服务器启动后,你可以发送推理请求:

BASH
curl 127.0.0.1:8080/generate
 -X POST
 -d '{"inputs":"What is Deep Learning?","parameters":{"max_new_tokens":32}}'
 -H 'Content-Type: application/json'

有关将 TGI 与 Gaudi 结合使用的完整文档,包括操作指南和高级配置,请参阅新的专用 Gaudi 后端文档。

🎉 核心功能

我们已针对单卡和多卡配置优化了以下模型。这意味着这些模型在 Intel Gaudi 上能以尽可能快的速度运行。我们专门优化了建模代码以适配 Intel Gaudi 硬件,确保提供最佳性能并充分利用 Gaudi 的能力:

  • Llama 3.1 (8B 和 70B)
  • Llama 3.3 (70B)
  • Llama 3.2 Vision (11B)
  • Mistral (7B)
  • Mixtral (8x7B)
  • CodeLlama (13B)
  • Falcon (180B)
  • Qwen2 (72B)
  • Starcoder 和 Starcoder2
  • Gemma (7B)
  • Llava-v1.6-Mistral-7B
  • Phi-2

🏃‍♂️ 此外,我们在 Gaudi 硬件上还提供了许多高级功能,例如借助 Intel Neural Compressor (INC) 实现的 FP8 量化,从而带来更极致的性能优化。

✨ 即将上线!我们很高兴将扩充模型阵容,加入包括 DeepSeek-r1/v3、QWen-VL 在内的前沿模型以及更多强大模型,为您的 AI 应用提供动力!🚀

💪 参与共建

我们邀请社区在 Gaudi 硬件上试用 TGI 并提供反馈。完整文档可在 TGI Gaudi 后端文档中查阅。📚 如果您有兴趣贡献代码,请查看我们的贡献指南,或在 GitHub 上提交 issue 分享您的反馈。🤝 通过将 Intel Gaudi 支持直接集成到 TGI 中,我们正持续践行使命,为部署 LLM 提供灵活、高效且具备生产就绪能力的工具。我们非常期待看到您利用这一新功能构建出什么成果!🎉