Rohan Paul (@rohanpaul_ai)T2·74 分
约翰霍普金斯研究：训练中只出现一次的事实越多，大模型科学发现能力越强
原标题：Strange findings here.
- 训练中仅出现一次的事实占比越高，模型在材料与 DNA 序列上的发现率越高，两个模型家族均复现该趋势。
- 训练 3 或 5 个 epoch 会把单次样本变成重复样本，该趋势随之消失。
- 发现与幻觉同源：提升发现能力的同时需预期更多幻觉，构建科学模型时应保留稀有单次样本并避免重复数据。
返回热点榜
llm热度 16.0°
AI 聚合热点事件 · 2026/11/6
约翰霍普金斯研究：训练中只出现一次的事实越多，大模型科学发现能力越强
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/6 06:24:51
全景综述与最新动态
1 家信源交叉印证约翰霍普金斯大学新论文发现，训练数据中仅出现一次的事实（monofacts）占比从 0% 升至 100% 时，模型在材料与 DNA 序列上的科学发现率持续上升，该趋势在两个模型家族中均成立。作者将幻觉理论延伸至发现能力：发现与幻觉本质都是生成训练中未见的内容，因此保留稀有单次样本、避免重复数据可提升发现能力，但也会带来更多幻觉。
最新动向/约翰霍普金斯大学新论文发现，训练数据中仅出现一次的事实（monofacts）占比从 0% 升至 100% 时，模型在材料与 DNA 序列上的科学发现率持续上升，该趋势在两个模型家族中均成立。作者将幻觉理论延伸至发现能力：发现与幻觉本质都是生成训练中未见的内容，因此保留稀有单次样本、避免重复数据可提升发现能力，但也会带来更多幻觉。
逐小时热度走势
2 个完整观测小时连续完整观测不足 3 个小时，暂不绘制趋势曲线。