Hacker News AIT2·基座大模型
58 分
Hightouch 在身份解析结果评分任务上测试了决策模型 Jev、Luna 与前沿模型 Opus 的组合效果。结论是 Jev 单独使用精度尚可,但通过置信度校准把低置信样本转交 Opus 处理,可在成本降低 4 倍以上的同时达到前沿精度。研究还发现 Jev 的置信度校准优于 Luna,而决策模型虽便宜 90 倍、快 10 倍,单独使用仍落后 Opus。
Model Cascading
先用低成本模型处理请求,仅将低置信或失败样本升级到更强模型的推理编排范式
Hightouch 在身份解析结果评分任务上测试了决策模型 Jev、Luna 与前沿模型 Opus 的组合效果。结论是 Jev 单独使用精度尚可,但通过置信度校准把低置信样本转交 Opus 处理,可在成本降低 4 倍以上的同时达到前沿精度。研究还发现 Jev 的置信度校准优于 Luna,而决策模型虽便宜 90 倍、快 10 倍,单独使用仍落后 Opus。