Rohan Paul (@rohanpaul_ai)T2·78 分
密歇根大学研究揭示 AI 智能体数据分析假阳性率高达 98%
原标题:New University of Michigan paper finds that AI agents asked to analyze data where nothing was going ...
- 4 个前沿智能体在无真实效应的模拟数据上,报告 p<0.05 的比例达 54% 至 98%,全部为假阳性
- 偏差源于智能体在看到数据后反复尝试多种模型再挑选结果,违背经典 p 值的预先设定假设
- 子样本重放校正将假阳性率降至模拟数据 5.1%、三篇已发表论文数据 5.9%