Google 在 Gemini Mac 应用中推出 Computer Use 功能,用户只需描述目标,Gemini 即可在隔离的后台窗口中跨本地文件、桌面应用与网页完成多步骤任务,同时保持屏幕与光标可用。该功能今日以英文在美国上线,支持应用级权限选择、实时步骤预览、随时暂停与关键操作预审批。
计算机使用
Computer Use
让 AI 智能体直接操控桌面界面、应用与文件以完成多步任务的能力范式
收录情报动态
腾讯 WorkBuddy 正式上线电脑操控(Computer Use)能力,可识别当前页面与客户端界面,执行点击、输入、滚动等操作,无需目标软件开放接口即可在后台运行。该功能目前处于公测阶段,支持 macOS 与 Windows,需客户端升级至 5.11.0 及以上版本并完成授权,官方建议在登录、支付、删除等敏感操作时保持在场监控。
Google 为 macOS 版 Gemini 应用上线 computer use 能力,可跨本地文件、桌面应用与网页执行多步任务,用户可限定可访问应用并通过后台窗口实时预览执行过程。该功能目前以英文面向美国用户推送,抢在 Apple 对申请全盘访问权限的应用施加新限制之前落地。
Google 宣布在 macOS 版 Gemini 桌面应用中上线 computer use 能力,AI 可在后台操作原生 Mac 应用并浏览网页,代用户完成任务。该功能目前仅面向美国英语用户开放,需订阅 Google AI Plus、Pro 或 Ultra,且上线时间晚于 OpenAI、Anthropic、Meta 的同类智能体功能。
Mistral 为其 AI 智能体 Vibe(原 Le Chat)推出 macOS 与 Windows 桌面应用,支持用户同时下发多个任务并观察代理并行执行。桌面版整合了 Vibe CLI 的本地能力与 Vibe Code Web 的云端会话,通过 Git worktree 隔离同一项目中的并行任务,Work 模式还可访问本地文件。不过报道指出,Anthropic 等竞争对手的桌面代理已能操作完整操作系统,Mistral 在计算机使用能力上仍处于追赶阶段。
YC F26 项目 Pomerado 推出自助服务,可在数分钟内把缺乏 API 的网站转化为确定性、可自愈的 MCP 接口,供智能体直接调用。其思路是绕开缓慢且不稳定的浏览器自动化与 computer use,解决航空、银行、政务等遗留系统难以接入智能体工作流的核心瓶颈。
开发者宝玉复盘了用 Rust 原生 UI 框架 GPUI 构建桌面应用 baocut 的实践,指出其性能与跨平台优势之外,存在 UI 需 fork 修改、Accessibility 支持弱、Rust 编译资源与时间开销大、不支持热更新、Agent 验证 UI 成本高等问题。最终他换回 Electron,并把复杂渲染与转录、TTS 模块以 Rust/WASM 与 worker 进程形式保留,兼顾开发迭代速度与后台性能。
腾讯发布新一代开源大模型 Hy4,官方称其性能已跻身全球领先开源模型行列,并首次引入视觉理解与电脑操作能力,在指令遵循、长上下文理解与长程智能体任务上均有明显提升。模型权重与系统卡将在数日内开放,腾讯同时强调网络安全与生物安全方向的责任开源承诺。
开发者 Yuchen Jin 认为,Codex 相较 Claude Code 的最大优势在于计算机使用能力:API 与 MCP 调用缓慢,而传统企业软件界面复杂,人类难以操作。Codex 可直接操作图形界面,在数分钟内完成报销类任务,相当于把每个 UI 都变成了 API。该观点基于个人体验,未提供量化数据。
腾讯发布新一代模型 Hy4,首次具备图像理解与自主操作软件的能力,并针对编程、金融与办公场景做了专项优化。腾讯称其在中国模型中排名第二,但在高难度数学与编程任务上仍明显落后于 Claude Opus 5.5 等顶级模型,模型权重将延后开放。