AWS Inferentia2 加速 Hugging Face Transformers

原标题:Accelerating Hugging Face Transformers with AWS Inferentia2
45AI 研判分

AWS 宣布其专用推理芯片 Inferentia2 现已支持加速 Hugging Face Transformers 模型。该集成旨在通过硬件优化提升大语言模型的推理速度与成本效益,为开发者提供更具性价比的云端部署方案。

报道正文

Accelerating Hugging Face Transformers with AWS Inferentia2