Karpathy 剖析 LLM 能力认知鸿沟：仅 0.2% 人群见证智能体端到端交付价值

Andrej Karpathy (@karpathy) · 2026-10-11 19

重提这条四月的推文，因为大众对 LLM 能力认知的鸿沟正在扩大。这已不再是“两群人各说各话”，而更像是一个急剧收窄的漏斗。

• 粗略估算，约有 60 亿人（约占人口的 75%）几乎从未接触过 LLM。
• 约 10-20 亿人（约 20%）是免费 ChatGPT 类产品的偶尔使用者。这群人眼中的聊天机器人往往显得笨拙，他们将其视为更好的搜索引擎、写作辅助工具等。也许有个 Agent 试图帮你订机票。我那些非技术背景的朋友（我认为他们的看法很合理）表示这东西对他们没什么用。甚至许多数学和代码领域之外的专业人士也处于这一层级。例如，高管和其他职能人员的大量时间花在与人沟通上，因此尽管他们在理智上理解正在发生什么，但这种认知仍是二手且略显抽象的。
• 接下来是在数学和代码领域专业使用前沿级 LLM 的人群。大约 2000 万人（0.2%）亲眼见证：过去需要数周或数月才能完成的大型复杂项目，如今只需一个提示词（prompt），Agent 就能搞定。构建应用、克隆应用、移植应用、从二进制文件反编译应用……这一切都发生得极快且就在近期——不到一年前，我还得手动编写代码，在编辑器里逐字符输入记忆中的计算机指令，偶尔按 Tab 键自动补全一小段代码。
• 最后，我们触及那约 5,000 人（约 0.00006%），他们拥有内部访问前沿系统的权限。外部世界看到的只是预览版。景象宛如成千上万个 Agent 组成的蜂群，在软件巨型项目中协作数周：挖掘零日漏洞（zero days）、以机器速度运行网络攻击与防御、发现新科学、推进数学前沿。这些成就原本需要行业顶尖专家耗费数年工作才能达成。与此同时，人类的审查和理解能力开始滞后。例如，人们仍在处理几个月前 OpenAI-HF 事件的“考古”工作。数学家们可能需要花上一段时间，仔细研读关于前沿数学的 722 份手稿。

这个漏斗由多种因素共同驱动：

1. 影响程度与野心、问题规模和时间跨度成正比。一个只需段落式回答的问题几乎不会对系统构成压力。你需要储备大量你真正关心的、高难度且宏大的问题。这一方面决定了漏斗中“消费者/专业人士”的维度。
2. 系统能力的锯齿状分布（这一点我曾单独撰文详述）。能力峰值出现在数字化、可验证且具有经济价值的领域。这是因为 LLM 的能力涌现源于在由营收潜力驱动的精选环境混合体上，针对可验证奖励进行的强化学习。这一方面主要决定了漏斗中的“领域”（例如数学和代码）维度。
3. 访问权限。免费层、付费层、内部使用。

这就是当下的怪异之处。公众大多尚未与这些系统进行过深度交互。当他们尝试使用时，看到的往往是一个表现笨拙的聊天机器人。大多数专业人士仅感受到适度的效率提升。而极少数专业人士则正经历着曲线垂直上升带来的眩晕感。这一切正在同时发生。

↳ 引用 @karpathy (Andrej Karpathy): 从我的时间线来看，人们对 AI 能力的理解存在日益扩大的差距。

我认为第一个问题在于体验的时效性和使用层级。很多人去年尝试过 ChatGPT 的免费版本，并因此对 AI 形成了过于片面的认知。这一群体往往热衷于嘲笑模型的各种怪癖、幻觉等问题。是的，我也看到了 OpenAI 高级语音模式在处理“该开车还是走路去洗车店”这类简单查询时频频出错的病毒式传播视频。但关键在于，这些免费版或已弃用的旧模型，并不能反映今年最新一代前沿智能体（agentic）模型的能力水平，尤其是 OpenAI Codex 和 Claude Code。

这就引出了第二个问题。即使有人每月支付 200 美元使用最顶尖的模型，许多能力也相对集中在高度技术化的领域，呈现出“尖峰状”分布。典型的搜索、写作、建议等日常查询场景，并非近期能力取得最显著、最戏剧性突破的领域。部分原因在于强化学习及其可验证奖励机制的技术细节；另一部分原因则是，由于这些用例无法带来同等巨大的商业价值，公司在进行“爬坡优化”（hillclimbing）时并未将其作为优先方向。真正的金矿在别处，资源也随之倾斜。

因此，这便涉及第二类人群：他们既 1) 付费使用最前沿的智能体模型（如 OpenAI Codex / Claude Code），又 2) 在编程、数学和研究等技术领域专业地应用它们。这部分人最容易陷入所谓的“AI 精神病态”（AI Psychosis），因为今年以来这些领域的进步堪称惊人。当你将计算机终端交给这些模型时，你可以看着它们瞬间解决那些原本预计需要数天甚至数周才能完成编程难题。正是这第二群人，赋予了 AI 能力、其发展斜率以及各类网络安全相关后果以更高的权重和紧迫感。

TLDR：这两类人群其实是在各说各话。事实确实如此——OpenAI 那个免费且略显“被遗忘”（？）的“高级语音模式”会在 Instagram Reels 上把最愚蠢的问题都搞砸；与此同时，OpenAI 最高阶、付费的 Codex 模型却能连续运行 1 小时，连贯地重构整个代码库，或发现并利用计算机系统中的漏洞。这一部分确实行之有效，并取得了显著进展，这得益于两个特性：1）这些领域提供了可验证的显式奖励函数，使其易于通过强化学习进行训练（例如单元测试是否通过，相比之下，写作很难进行明确的评判）；2）它们在 B2B 场景中价值更高，这意味着团队中最大比例的资源正专注于改进它们。所以，现状就是如此。