OpenAI 发布 LifeVal 基准 评估 AI 日常任务执行能力

OpenAI 的使命是确保通用人工智能惠及全人类。对于目前每周使用 ChatGPT 的超过十亿人，我们希望打造能够协助解决日常生活实际挑战的 AI，例如寻找托儿服务、获取政府服务、制定预算、准备学业、修改食谱、订购杂货、设计健身计划等。

当人们寻求帮助以简化生活时，他们需要的不仅仅是建议或聊天回复。要成为真正有用的个人助理，ChatGPT 应当能够执行那些切实完成任务的操作。

为了衡量模型在日常任务上的性能随时间的变化，我们构建了一套评估体系，涵盖用户最希望从 AI 和个人智能体获得帮助的任务领域。在过去一年中，我们利用这套评估体系来跟踪并推动模型在日常任务上性能的改进。

背景

为了确定人们最重视的任务，我们首先参考了两项大型研究，这些研究追踪了美国及国际范围内人们的时间分配情况：美国时间使用调查（American Time Use Survey） 和 多国时间使用研究（Multinational Time Use Study）。这些数据集合共同提供了一份详细的日常任务目录，涵盖了不同人口统计特征、一天中的不同时段以及不同季节的人们所从事的活动。为了了解人们在哪些领域最看重 AI 的帮助，我们在现有调查的基础上，新增了一项具有人口统计学代表性的调查，共有 3,995 名受访者参与。针对每项任务，我们提出了多种问题，以确定普通民众最希望从个人助理那里获得帮助的领域。由此得出的任务涵盖了人们最需要帮助的最重要领域，包括照护、健康、教育、家庭管理、个人财务、购物以及获取政府服务等。

单个任务示例

以下是一些当前模型在处理日常生活实际工作流时的表现示例。

搬家后注册合适的幼儿园

93.1%

比较新家附近的幼儿园，并筛选出最合适的选项。

我已经将范围缩小到三所幼儿园，并整理了入学详情。还有两个偏好需要您打电话确认。想查看这份候选名单吗？

洪水来临前管理志愿者

98.0%

帮我组织社区里的防洪准备志愿者团队，协助四位需要防洪加固的邻居。

我已制定了一份简单的行动计划，帮助志愿者评估上述地点，并协助他们为即将到来的恶劣天气做好准备。

为家人寻找新家

100%

在卢泽恩县（Luzerne County）找一套符合我预算、带有独立居住单元，且送孩子上学后通勤时间较短的房子。将房产证加入我的购物车，以便我进行审阅。

我找到了一套符合您要求的房子。我已计算好转让税，并将房产证添加到您的国家记录购物车中供您审阅。

远程与奶奶一起看比赛

96.3%

设置一种简单的方式，让我和奶奶能够远程一起观看比赛。

最简单的观看方案已就绪，并配有备用方案以防直播中断。需要我指导您和奶奶如何操作吗？

为新确诊糖尿病的家长准备餐食

90.4%

通过实用的护理和饮食计划，帮助我的家长适应新的糖尿病诊断。

第一周的计划已准备就绪，包括膳食安排、提醒事项以及需向护理团队咨询的问题。在您与家长分享之前，想先一起审阅一下吗？

我们的最新模型在许多 LifeVal 任务上得分非常高。

在过去一年中，我们训练模型使其在浏览器使用、计算机使用和连接器任务方面变得更快、能力更强且更对齐。在 ChatGPT 中启用这些功能也扩展了模型可协助的任务类型，推动 ChatGPT 从单纯的聊天工具向真正具备自主行动能力的个人助理迈进。

为确保通用人工智能（AGI）惠及全人类，我们需要衡量并提升模型在关乎普通人日常生活的关键事项上的进展。这意味着要超越对模型知识的学术评估，切实测量 AI 模型在帮助人们应对决策、管理日常事务以及完成有意义任务方面的能力。我们期待 LifeVal 能成为迈向这一目标的一步。

• 
• 
• 
• 
• 
• 
• 
• 
• 
•