术语slug: inference-time-compute

推理时计算

Inference-time Compute

在模型运行阶段消耗算力以优化结果质量或速度的过程

收录情报动态

共 2 篇 · 第 1/1 页
Hacker News AIT2·开发与工程
68 分
OpenAI 推出 Decisions API:结构化决策提速 10 倍

OpenAI 发布处于公测阶段的 Decisions API,专门用于从文本和图像中获取概率、固定选项或评分等类型化答案。该接口比 Responses API 快约 10 倍,目前仅支持 gpt-6-luna 模型,旨在简化内容分类与请求路由逻辑。开发者可通过 Playground 体验,并需使用最新版本的 SDK 进行集成。

OpenAI 官方博客T1·基座大模型
35 分
论文:以推理算力换取对抗鲁棒性

该研究提出通过增加推理阶段的计算量来提升模型对抗攻击的鲁棒性。核心观点是将训练时的防御压力转移至推理时,利用更多算力进行验证或修正。目前仅见标题,缺乏具体方法、实验数据及性能权衡细节。