术语slug: local-inference

本地推理

Local Inference

在用户自有硬件上直接运行 AI 模型推理,数据不出本地,兼顾隐私与离线可用性

收录情报动态

共 18 篇 · 第 1/2 页
Hacker News AIT2·基座大模型
58 分
Moonshine 创始人谈本地 AI 与低延迟语音模型

Moonshine Voice 联合创始人 Pete Warden 在播客访谈中系统阐述 AI 为何正从云端转向本地运行,核心论据包括开放权重模型的快速进步、笔记本与浏览器端推理的可行性,以及低延迟语音模型带来的新交互形态。他还讨论了内存带宽等硬件瓶颈,并指出随着负载特征逐渐清晰,业界将涌现更多富有想象力的硬件方案。

IT之家 · 智能时代T2·算力与基建
68 分
AMD 推出本地 AI 编程平台 搭载 8 张 MI355X

AMD 联合 Spectro Cloud 发布企业级 AI 辅助编程平台 Instinct Coder 355,核心配置为 8 张 Instinct MI355X 加速器与双路 64 核 EPYC 9575F,可本地部署 GLM-5.3 并达到前沿模型 98% 的性能。单节点最多支撑 85 名开发者(并发 50),默认走本地算力而非云端 API,主打企业私有化编程场景。

Hacker News AIT2·智能体与协同
58 分
五款小模型本地协同推理 提出先验证再投票新方法

作者在单台 Apple M3 Pro 上让 Llama 3.2 3B、Mistral 7B、Gemma 2 2B、Phi-3 mini 与 Qwen 2.5 3B 五款小模型并行检索作答,发现简单投票无法纠正模型共有的错误。为此提出“Verify, Then Vote”流程:先核查各模型引用的来源,再用固定规则选出答案,并将作答、核查、选择拆成可复用的独立步骤。论文、代码与实验记录已开源。

Hacker News AIT2·开发与工程
58 分
离线生存助手发布 本地 LLM 搭配 Kiwix 从 U 盘运行

该项目提供一个完全离线的生存知识助手,在 Windows、Linux 和 macOS 上通过 llama.cpp 或 Ollama 运行本地模型,并检索 Kiwix 离线资料库(含医学维基百科、Where There Is No Doctor、iFixit 等)后带引用作答。它附带多语言实用指南与可局域网共享的网页界面,无模型时仍可用 Python 做纯检索。

Hacker News AIT2·开发与工程
45 分
CorridorKey 2.0 发布 本地一键抠像支持多软件

Corridor Digital 推出 CorridorKey 2.0,这是一款基于 AI 的本地运行抠像插件,旨在通过一键操作解决绿幕/蓝幕及复杂边缘(如头发、半透明物体)的抠像难题。该工具支持 DaVinci Resolve、Nuke、After Effects 等主流后期软件,采用买断制而非订阅模式,对硬件有一定要求(推荐 RTX 30 系列及以上显卡)。