UT Austin 提出 Jev-Mem 用轻量评分模型加速 AI 记忆构建
原标题：University of Texas paper finds that handing small memory decisions to a fast scoring model let an A...
78AI 研判分
核心综述
德克萨斯大学奥斯汀分校发布 Jev-Mem 架构，将长对话记忆系统中的微观决策（如链接选择、搜索终止）从大语言模型转移至批量概率评分器。该方法在 LoCoMo 基准测试中使记忆构建速度提升 6.6 倍，同时答案准确率提升至 0.777，显著降低了 LLM 调用开销。
报道正文
Rohan Paul (@rohanpaul_ai) · 2026-10-25 14
德克萨斯大学的一篇论文发现，将微小的记忆决策交给一个快速评分模型处理，使得 AI 记忆系统构建长对话记忆的速度提升了 6.6 倍。
许多记忆系统依赖 LLM 来做出细微的选择，例如决定关联哪些内容或何时停止搜索。
为每个选择生成文本非常缓慢，而且这些调用在记忆构建和搜索过程中会不断累积。
Jev-Mem 将这些选择交由一个名为 Jev 的快速评分器处理，它以批量方式返回概率值而非文本。LLM 仅在最后阶段被调用，用于读取选定的记忆并生成答案。
在 LoCoMo 长对话基准测试中，其回答得分为 0.777，而最佳基线模型的得分为 0.700。它的记忆构建耗时仅为 158 秒，相比之下最快的竞争对手需要 1,044 秒；回答耗时为 0.93 秒，而对手则需要 1.47 秒。
如果你的记忆流水线在路由、评分或停止判断等环节调用了 LLM，不妨尝试引入一个快速分类器来处理这些任务，从而将 LLM 留给最终的答案生成。
