密歇根大学研究揭示 AI 智能体数据分析假阳性率高达 98%

原标题:New University of Michigan paper finds that AI agents asked to analyze data where nothing was going ...
78AI 研判分

密歇根大学新论文发现,让前沿编码智能体分析完全无效应数据时,最高 98% 的运行仍报告 p<0.05 的“发现”,全部为假阳性。原因是智能体在见到数据后反复试模型再挑结果,破坏了经典 p 值的先验假设。研究者用子样本重放校正,将假阳性率压至约 5%。

报道正文

Rohan Paul (@rohanpaul_ai) · 2026-11-20 20

密歇根大学的一篇新论文发现,当被要求分析实际上没有任何现象发生的数据时,AI 智能体在高达 98% 的情况下仍报告称发现了结果。

这意味着,任何使用编程智能体进行数据分析的人,都不应轻信它们所报告的 p 值。

而在子样本上重放它们的分析可以修正这一问题。

研究人员如今将数据分析交给编程智能体,这些智能体会在报告 1 个结果之前尝试许多模型。经典的 p 值假设检验是在看到数据之前就已选定。

他们让 4 个前沿智能体在无真实效应的模拟数据中找出 1 个有说服力的发现。为纠正偏差,他们在子样本上重新运行智能体,并测量当结果看起来不错时,它选择其分析方式的频率高出多少。

这些智能体在 54% 至 98% 的运行中报告了小于 0.05 的 p 值,而这些都是错误的。该纠正方法在模拟中将假阳性降至 5.1%,在来自 3 篇已发表论文的数据上降至 5.9%。

如果由智能体来执行你的数据分析,除非分析是事先固定的,或已针对智能体的选择进行了纠正,否则不要轻信它们的 p 值。

推文配图