Habana 与 Hugging Face 合作加速 Transformer 训练
Habana Labs 与 Hugging Face 宣布合作,将 Habana Gaudi AI 处理器集成至 Transformers 库以加速模型训练。该举措旨在降低大规模 Transformer 模型的算力成本与复杂度,提供除 NVIDIA GPU 外的替代硬件方案。
关联知识实体
报道正文
Habana Labs 与 Hugging Face 合作加速 Transformer 模型训练
发布于 2022 年 4 月 12 日 在 GitHub 上更新 点赞 - Susan Lansing susanlansing 客座作者
加利福尼亚州圣克拉拉和旧金山,2022 年 4 月 12 日
深度学习驱动的 Transformer 模型在自然语言处理、计算机视觉、语音识别等众多机器学习任务中均能提供最先进的性能。然而,大规模训练这些模型通常需要巨大的算力,导致整个流程变得冗长、复杂且成本高昂。
今天,高效专用深度学习处理器的先驱 Habana® Labs 与 Transformer 模型的家园 Hugging Face 很高兴地宣布,双方将携手合作,使高质量 Transformer 模型的训练更加便捷快速。得益于 Habana 的 SynapseAI 软件套件 与 Hugging Face Optimum 开源库 的集成,数据科学家和机器学习工程师现在只需几行代码即可在 Habana 处理器上加速其 Transformer 训练任务,从而提升生产力并降低训练成本。
Habana Gaudi 训练解决方案为亚马逊 EC2 DL1 实例和超微(Supermicro)X12 Gaudi AI 训练服务器提供动力,其性价比比同类训练解决方案高出多达 40%,让客户能够以更低的成本进行更多训练。每个 Gaudi 处理器集成了十个 100 Gigabit Ethernet 端口,使得系统能够从 1 个扩展到数千个 Gaudi 节点,轻松实现且具有成本效益。Habana 的 SynapseAI® 从设计之初就针对 Gaudi 的性能和易用性进行了优化,支持 TensorFlow 和 PyTorch 框架,重点关注计算机视觉和自然语言处理应用。
Hugging Face 在 GitHub 上拥有超过 60,000 颗星、30,000 多个模型以及每月数百万次访问量,是开源软件历史上增长最快的项目之一,也是机器学习社区的首选之地。
通过其 硬件合作伙伴计划,Hugging Face 为 Gaudi 的先进深度学习硬件提供了顶级的 Transformer 工具集。这一合作将加速 Habana Gaudi Transformer 模型训练库的快速扩展,使 Gaudi 的高效性和易用性能够惠及自然语言处理、计算机视觉、语音等广泛的客户应用场景。
“我们很高兴能与 Hugging Face 及其众多开源开发者合作,共同满足对 Transformer 模型日益增长的需求,这些模型将从 Gaudi 训练平台的高效性、可用性和可扩展性中受益,”Habana Labs 软件产品管理负责人 Sree Ganesan 表示。
“Habana Gaudi 为深度学习模型训练带来了全新的高效水平,我们非常兴奋能通过 Optimum 以最小的代码改动,让 Transformer 用户轻松获得这种高性能,”Hugging Face 产品总监 Jeff Boudier 说道。
如需了解如何开始使用 Habana Gaudi 进行训练,请访问 https://developer.habana.ai。
有关 Hugging Face 与 Habana Gaudi 合作的更多信息,请访问 https://huggingface.co/Habana。