Hugging Face 新增三家无服务器推理服务商

原标题:Introducing Three New Serverless Inference Providers: Hyperbolic, Nebius AI Studio, and Novita 🔥
42AI 研判分

Hugging Face Hub 宣布接入 Hyperbolic、Nebius AI Studio 和 Novita 三家新的无服务器推理提供商。此举旨在扩展开发者在模型部署时的算力选择与成本灵活性,PRO 用户每月可获 2 美元通用积分跨平台使用。

报道正文

本文目录7 个章节

返回文章列表

隆重推出三个新的 Serverless Inference Providers:Hyperbolic、Nebius AI Studio 和 Novita 🔥

发布于 2025 年 2 月 18 日 在 GitHub 上更新 点赞 102

Julien Chaumond julien-c Bertrand Chevrier kramp Vaibhav Srivastav reach-vb Simon Brandeis sbrandeis Albert Abdulmanov albertworks nebius Viktor Hu viktor-hu novita Connor Chevli cchevli Hyperbolic

我们非常高兴地宣布,Hugging Face Hub 新增了三个优秀的 Serverless Inference Providers(无服务器推理提供商):Hyperbolic、Nebius AI Studio 和 Novita。这些提供商加入了我们不断壮大的生态系统,进一步扩展了 Hub 模型页面上直接提供的无服务器推理功能的广度和能力。它们也已无缝集成到我们的客户端 SDK(支持 JS 和 Python)中,让你能够轻松地在首选提供商上使用各种各样的模型。

这些合作伙伴与我们现有的提供商(包括 Together AI、Sambanova、Replicate、fal 和 Fireworks.ai)共同构成了我们的服务网络。

新合作伙伴支持大量新模型:DeepSeek-R1、Flux.1 以及许多其他模型。以下是它们支持的所有模型列表:

我们非常期待看到大家利用这些新提供商构建出什么精彩的应用!

工作原理

在网站 UI 中

  1. 在你的用户账户设置中,你可以:
  • 为你已注册的提供商设置自己的 API 密钥。如果未设置自定义密钥,你的请求将通过 HF 路由。
  • 按偏好顺序排列提供商。此设置适用于模型页面中的 Widget(小部件)和代码片段。

Inference Providers

  1. 如前所述,调用 Inference API 时有两种模式:
  • 自定义密钥(请求直接发送至推理提供商,使用你在该推理提供商处的自有 API 密钥)
  • 由 HF 路由(在这种情况下,你无需提供商的令牌,费用将直接计入你的 HF 账户,而非提供商的账户)

Inference Providers

  1. 模型页面会展示第三方推理提供商(即与当前模型兼容的提供商,按用户偏好排序)

Inference Providers

从客户端 SDK 调用

在 Python 中使用 huggingface_hub

以下示例展示了如何使用 Hyperbolic 作为推理提供商来调用 DeepSeek-R1。你可以使用 Hugging Face token 通过 Hugging Face 进行自动路由,或者如果你拥有自己的 Hyperbolic API 密钥,也可以直接使用它。

请从源码安装 huggingface_hub(参见安装说明)。官方支持将在 v0.29.0 版本中正式发布。

PYTHON
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="hyperbolic",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

messages = [
    {
        "role": "user",
        "content": "What is the capital of France?"
    }
]

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1", 
    messages=messages, 
    max_tokens=500
)

print(completion.choices[0].message)

以下是如何在 Nebius AI Studio 上运行 FLUX.1-dev,并根据文本提示生成图像的方法:

PYTHON
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="nebius",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

image = client.text_to_image(
    "Bob Marley in the style of a painting by Johannes Vermeer",
    model="black-forest-labs/FLUX.1-schnell"
)

若要切换到不同的提供商,只需更改提供商名称即可,其他代码保持不变:

DIFF
from huggingface_hub import InferenceClient

client = InferenceClient(
-	provider="nebius",
+   provider="hyperbolic",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

使用 @huggingface/inference 的 JS 示例

JAVASCRIPT
import { HfInference } from "@huggingface/inference";

const client = new HfInference("xxxxxxxxxxxxxxxxxxxxxxxx");

const chatCompletion = await client.chatCompletion({
    model: "deepseek-ai/DeepSeek-R1",
    messages: [
        {
            role: "user",
            content: "What is the capital of France?"
        }
    ],
    provider: "novita",
    max_tokens: 500
});

console.log(chatCompletion.choices[0].message);

计费

对于直接请求,即当你使用推理提供商的密钥时,由相应的提供商向你收费。例如,如果你使用 Nebius AI Studio 的密钥,费用将计入你的 Nebius AI Studio 账户。

对于路由请求,即当你通过 Hub 进行身份验证时,你只需支付标准的提供商 API 费率。我们不会收取任何额外加价,而是直接将提供商的成本透传给你。(未来,我们可能会与我们的合作伙伴建立收入分成协议。)

重要提示 ‼️ PRO 用户每月可获得价值 2 美元的推理额度。你可以在各个提供商之间使用这些额度。🔥