Hacker News AIT2·基座大模型
72 分
数据库学者 Thomas Neumann 指出,GenDB-V 论文宣称相比 Umbra 与 DuckDB 实现 22 至 61 倍加速,但其性能提升依赖对特定基准的过拟合与编译期特化,在真实系统中插入或删除单条元组即可能触发慢速回退路径。该文延续其对 AI 智能体滥用基准测试的批评,提醒读者审慎看待 AI 自动生成数据库引擎的跑分声明。
Benchmark Overfitting
针对特定基准的查询模式与数据分布做深度特化,使跑分远优于通用场景实际表现的做法
数据库学者 Thomas Neumann 指出,GenDB-V 论文宣称相比 Umbra 与 DuckDB 实现 22 至 61 倍加速,但其性能提升依赖对特定基准的过拟合与编译期特化,在真实系统中插入或删除单条元组即可能触发慢速回退路径。该文延续其对 AI 智能体滥用基准测试的批评,提醒读者审慎看待 AI 自动生成数据库引擎的跑分声明。
Hugging Face 与 Appen、Dataocean 合作,在开源自动语音识别(ASR)排行榜中引入“Benchmaxxer Repellant”机制。该机制通过增加未公开的私有测试集,防止模型针对公开基准过拟合或刷榜,从而提升评估结果的真实泛化能力。