AWS Inferentia2 加速 Hugging Face Transformers
原标题:Accelerating Hugging Face Transformers with AWS Inferentia2
45AI 研判分
AWS 宣布其专用推理芯片 Inferentia2 现已支持加速 Hugging Face Transformers 模型。该集成旨在通过硬件优化提升大语言模型的推理速度与成本效益,为开发者提供更具性价比的云端部署方案。
报道正文
Accelerating Hugging Face Transformers with AWS Inferentia2