Hacker News AIT2·开发与工程
62 分
PostHog 工程团队分享了在生产环境中使用决策模型(如 TypeSafe 的 Jev)的实践经验,指出对于结构化问答类简单任务,决策模型比前沿大模型快 193.6 倍、便宜 444.6 倍,并且能显式输出校准后的概率而非冗长的自由文本。文章给出了三类典型输出形式(是/否、选项、评分),并建议用决策模型为昂贵的 LLM 调用做前置门控。
决策模型服务商,提供 Jev 等结构化问答模型,输出带概率的类型化答案
PostHog 工程团队分享了在生产环境中使用决策模型(如 TypeSafe 的 Jev)的实践经验,指出对于结构化问答类简单任务,决策模型比前沿大模型快 193.6 倍、便宜 444.6 倍,并且能显式输出校准后的概率而非冗长的自由文本。文章给出了三类典型输出形式(是/否、选项、评分),并建议用决策模型为昂贵的 LLM 调用做前置门控。
Vercel 的 AI 模型路由数据显示,10 月超过四分之一的请求流向决策模型,而这类模型一个月前才被发明。决策模型不生成输出 token,而是以低成本在预设选项中快速抉择并给出置信度,适合对速度敏感的生产环境。TypeSafe 凭借 Jev 系列模型估值达 75 亿美元,但门槛低导致数十款同类模型涌现,定制化被视为下一阶段竞争焦点。