Hugging Face 集成 FriendliAI 部署选项
Hugging Face Hub 新增 FriendliAI 作为“部署此模型”按钮的推理基础设施选项。该合作旨在简化生成式 AI 模型的托管与加速服务,但具体性能提升数据与成本效益细节未在摘要中明确量化。
报道正文
本文目录6 个章节
Hugging Face 与 FriendliAI 达成合作,全面加速 Hub 上的模型部署
发布于 2025 年 1 月 22 日 在 GitHub 上更新 点赞 36
Ahnjae Shin ajshinfai FriendliAI Soomin Chun soominc FriendliAI Byung-Gon Chun bgchun FriendliAI Julien Chaumond julien-c
FriendliAI 的推理基础设施现已集成至 Hugging Face Hub,作为“部署此模型”按钮中的一个选项,从而简化并加速生成式 AI 模型的提供服务。
携手推动 AI 创新
Hugging Face 致力于赋能开发者、研究人员和企业进行 AI 创新。我们的共同优先事项是建立具有影响力的合作伙伴关系,以简化工作流程并为 AI 社区提供前沿工具。
今天,我们很高兴宣布 HF 与 FriendliAI 达成合作。FriendliAI 是加速生成式 AI 推理领域的领导者,此次合作旨在提升开发者部署和管理 AI 模型的方式。这一集成将 FriendliAI Endpoints 引入为 Hugging Face Hub 中的部署选项,为开发者提供对高性能、高性价比推理基础设施的直接访问权限。
根据 Artificial Analysis 的排名,FriendliAI 是最快的基于 GPU 的生成式 AI 推理提供商,其突破性技术包括连续批处理(continuous batching)、原生量化(native quantization)以及一流的自动扩缩容(autoscaling)。凭借这些技术,FriendliAI 持续推动 AI 推理服务性能标准的提升,为大规模部署生成式 AI 模型提供更快的处理速度、更低的延迟以及显著的成本节约。通过这项合作,Hugging Face 用户和 FriendliAI 客户可以毫不费力地部署开源或自定义生成式 AI 模型,享受无与伦比的效率和可靠性。
简化模型部署
去年,FriendliAI 推出了 Hugging Face 集成,使用户能够在 Friendli Suite 平台上无缝部署 Hugging Face 模型。通过这一集成,用户不仅可以访问 Hugging Face 上数千个受支持的开源模型,还能轻松部署私有模型。FriendliAI 目前支持的模型架构列表可在此处查看。
今天,我们进一步扩展了这一集成,将相同的功能直接引入 Hugging Face Hub,提供一键式部署以实现无缝的用户体验。您可以使用 Friendli Suite 账户直接从 Hugging Face Hub 上的模型卡片部署模型。
选择 Friendli Endpoints 将带您进入 FriendliAI 的模型部署页面。在这里,您可以在 NVIDIA H100 GPU 上部署模型,同时与经过优化的开源模型进行交互。该部署页面提供了直观的界面,用于设置 Friendli Dedicated Endpoints——这是生成式 AI 推理的托管服务。此外,在您的部署处理过程中,您可以直接在页面上与开源模型聊天,从而轻松探索和测试其功能。
在 Friendli Dedicated Endpoints 中使用 NVIDIA H100 部署模型
凭借 FriendliAI 先进的 GPU 优化推理引擎,Dedicated Endpoints 以托管服务的形式提供快速且具成本效益的推理。开发人员只需点击模型部署页面上的“立即部署”,即可通过 Friendli Dedicated Endpoints 在 NVIDIA H100 GPU 上轻松部署开源或自定义模型。
H100 GPU 性能强大,但大规模运行成本高昂。借助 FriendliAI 的优化服务,您可以在保持峰值性能的同时减少所需的 GPU 数量,从而显著降低成本。除了成本效率之外,Dedicated Endpoints 还简化了基础设施管理的复杂性。
使用 Friendli Serverless Endpoints 对开源模型进行推理
Friendli Serverless Endpoints 是开发者高效推理开源模型的完美解决方案。该服务为经 FriendliAI 优化的模型提供了用户友好的 API,确保以低成本实现高性能。你可以直接在模型部署页面与这些强大的开源模型进行对话。
下一步计划
我们很高兴能深化 FriendliAI 与 Hugging Face(HF)的合作,从而提升全球开发者获取开源 AI 的便利性。FriendliAI 高速且具成本效益的推理解决方案消除了基础设施管理的复杂性,让用户能够专注于创新。我们与 FriendliAI 携手共进,致力于变革 AI 的开发方式,推动开创性的创新,塑造 AI 的下一个时代。
你也可以在我们的 组织主页 上关注我们以获取未来资讯 🔥


