Open R1 教程:本地部署 OlympicCoder 编码助手

原标题:Open R1: How to use OlympicCoder locally for coding
58AI 研判分

Hugging Face 发布教程指导用户通过 LM Studio 在本地运行 Open R1 的 OlympicCoder 模型。该教程指出,7B 参数的 OlympicCoder 在 LiveCodeBench 基准测试中表现优于 Claude 3.7 Sonnet 和 GPT-4o,为开发者提供了隐私保护且高性能的开源编码替代方案。

报道正文

本文目录7 个章节

返回文章列表

Open R1:如何在本地使用 OlympicCoder 进行编程

发布于 2025 年 3 月 20 日 在 GitHub 上更新 点赞 63

ben burtenshaw burtenshaw Vaibhav Srivastav reach-vb Lewis Tunstall lewtun Edward Beeching edbeeching Yagil Burowski yagilb lmstudio-ai

过去几年,大家一直将 Claude 和 OpenAI 用作编程助手,但如果你关注像 Open R1 这样的开源项目所取得的进展,就会发现它们的吸引力正在减弱。从下面的 LiveCodeBench 评测结果可以看出,7B 参数版本的模型表现优于 Claude 3.7 Sonnet 和 GPT-4o。这些模型是许多工程师在 Cursor 和 VSCode 等应用中的日常主力工具。

evals

评测固然重要,但我更想亲自动手,感受代码提交的乐趣!本文重点介绍如何立即将这些模型集成到你的 IDE 中。我们将配置 OlympicCoder 7B(OlympicCoder 两个变体中较小的一个),并使用量化版本以实现最佳本地推理性能。以下是我们将使用的技术栈:

  • OlympicCoder 7B。来自 LMStudio Community 的 4bit GGUF 版本
  • LM Studio:一款简化 AI 模型运行的工具
  • Visual Studio Code (VS Code)
  • Continue:一款支持本地模型的 VS Code 扩展

需要说明的是,我们选择这一技术栈纯粹是为了追求简洁性。你可能希望尝试更大的模型和/或不同的 GGUF 文件,甚至考虑其他推理引擎,如 llama.cpp。

generation

1. 安装 LM Studio

LM Studio 就像是一个 AI 模型的控制面板。它与 Hugging Face Hub 集成,用于拉取模型、帮助你找到合适的 GGUF 文件,并暴露一个 API 供其他应用程序与模型进行交互。

简而言之,它让你无需复杂的配置即可下载和运行模型。

  1. 访问 LM Studio 网站:打开你的浏览器,前往 https://lmstudio.ai/download。
  2. 选择操作系统:点击对应你计算机(Windows、Mac 或 Linux)的下载按钮。
  3. 安装 LM Studio:运行下载的文件并按照提示操作。这就像安装其他任何程序一样简单。

2. 获取 OlympicCoder 7B

我们需要的 GGUF 文件托管在 Hub 上。我们可以使用“Use this model”按钮,在 LMStudio 中从 Hub 打开该模型:

model_page

这将链接到 LMStudio 应用程序并在你的机器上打开它。你只需要选择一个量化版本(Quantization)。我选择了 Q4_K_M,因为它在大多数设备上都能提供良好的性能。如果你的计算资源更充裕,可以尝试 Q8_* 系列中的选项。

如果你想跳过 UI 界面,也可以通过命令行使用 LMStudio 加载模型:

文本
lms get lmstudio-community/OlympicCoder-7B-GGUF
lms load olympiccoder-7b
lms server start

3. 将 LM Studio 连接到 VS Code

这是关键步骤。现在我们需要将 VScode 与 LMStudio 提供的模型服务进行集成。

  1. 在 LM Studio 中,激活“Developer”标签页下的服务器。这将在 http://localhost:1234/v1 暴露端点。

lmstudio

  1. 安装 VS Code 扩展以连接本地服务器。我选择了 Continue.dev,但还有其他选项可用。
  • 在 VSCode 中,转到“扩展”视图(点击左侧边栏的方块图标,或按 Ctrl+Shift+X / Cmd+Shift+X)。
  • 搜索 “Continue”,并安装来自 “Continue Dev” 的扩展。
  1. 在 Continue.dev 中配置新模型
  • 打开 Continue 标签页,在模型下拉菜单中选择 ‘add new chat model’。
  • 这将打开一个 json 配置文件。你需要指定模型名称。例如:olympiccoder-7b

continue

🚀 你已拥有一个本地编码助手!

通过此设置,VSCode 中的大多数核心 AI 功能均可使用,例如:

  • 代码补全: 开始输入,AI 将建议如何完成你的代码。
  • 生成代码: 要求它编写一个函数或整块代码。例如,你可以输入(取决于扩展,在注释或聊天窗口中):// Write a function to reverse a string in JavaScript
  • 解释代码: 选中一些代码,并要求 AI 解释其作用。
  • 重构代码: 要求 AI 使你的代码更简洁或更高效。
  • 编写测试: 要求 AI 为你的代码创建单元测试。

🏋️‍♀️ OlympicCoder 的风格是怎样的?

OlympicCoder 不是 Claude。它在 CodeForces-CoTs 数据集上进行了优化,该数据集基于竞赛编程挑战。这意味着你不应该期望它非常友好或具有解释性。相反,请卷起袖子,准备迎接一位全力以赴、擅长处理难题的竞赛型程序员。

你可能希望将 OlympicCoder 与其他模型混合使用,以获得更全面的编码体验。例如,如果你试图从二分查找中榨取毫秒级的性能提升,可以尝试 OlympicCoder。如果你想设计面向用户的 API,则应选择 Claude-3.7-sonnet 或 Qwen-2.5-Coder。

下一步

  • 在下方评论区分享你最喜欢的生成结果
  • 尝试 Hub 上的另一个 OlympicCoder 变体。
  • 根据你的硬件条件,试验不同的量化类型。
  • 在 LM Studio 中尝试多个模型,体验不同的编程风格!查看模型目录 https://lmstudio.ai/models
  • 试用其他 VS Code 扩展,例如具备智能体(agentic)功能的 Cline