Rohan Paul (@rohanpaul_ai)T2·基座大模型
71 分
亚马逊一篇新论文审计了 9 个公开的规则遵循类基准(如 RuleArena、LegalBench),发现其参考答案与评分代码本身存在错误,导致模型正确答案被误判。以 LegalBench 税务评分为例,评分器删除小数点,把 259,487.13 美元读成 25,948,713,修复后 3 个模型的通过数从 8-9/96 升至 87-91/96。作者建议在看到低分时先读评分代码并人工抽查失败样本。
Amazon
美国电商与云计算巨头,长期投入 Alexa、Kindle 及家用机器人等长期项目
亚马逊一篇新论文审计了 9 个公开的规则遵循类基准(如 RuleArena、LegalBench),发现其参考答案与评分代码本身存在错误,导致模型正确答案被误判。以 LegalBench 税务评分为例,评分器删除小数点,把 259,487.13 美元读成 25,948,713,修复后 3 个模型的通过数从 8-9/96 升至 87-91/96。作者建议在看到低分时先读评分代码并人工抽查失败样本。
亚马逊已组建一支新团队,目标是开发一款“前所未有”的家用机器人,可适应不断变化的家庭环境并在人类身边自主活动。该团队吸纳了原 Astro 项目成员与一名 MIT 机器人专家,但产品形态与功能尚未披露。此前 Astro 仅受邀交付数千台,商用版不到一年即终止,显示亚马逊仍未放弃贝索斯设定的家用机器人长期方向。