Claude Lead: Drop Expert Personas, Let AI Decide Autonomously

By 林绮蓓Original title: “别再像 2024 年那样用 Claude 了!”Claude Cowork 工程负责人:有些 Skill 删掉反而更好
68AI Score

Felix Rieseberg, Engineering Lead for Claude Cowork at Anthropic, advocates for a more ambitious AI usage paradigm shifting from instruction-based to goal-oriented workflows. He recommends removing restrictive 'expert persona' prompts in favor of granting tools and data access, while introducing adversarial review mechanisms with multiple agents to verify output accuracy.

Full Report

Contents6 sections

翻译|林绮蓓

编辑|蔡芳芳

10 月 13 日,Anthropic 工程经理、Claude Cowork 工程负责人 Felix Rieseberg 发表了一篇博文,建议大家在使用 AI 时“更有野心”。他分享这篇文章的 X 帖子,已获得超过 500 万次浏览。在他看来,这并不只是让 AI 把事情做得更快,还需要重新想一想:眼前的工作最终要达成什么目标?能不能把更多事情交给 AI,让它自己寻找方法?

Felix 自己就经历过这样的转变。以前,他会逐一查看程序崩溃记录,挑出问题,再交给 Claude 修复。后来,他意识到自己不过是在给 Claude 当“传送带”:既然 Claude 能修复问题,为什么不让它直接读取崩溃数据,自己判断哪些需要修复?

这种反思,也影响了他对 Agent 工作流的看法。

近日,Felix 做客 Silicon Valley Girl,与主持人 Marina Mogilko 深入讨论了如何更充分地发挥 AI 的能力。他所在的团队曾用大约一周半开发出 Claude Cowork,而如今,他已不再亲自写代码,更多精力放在产品原型、用户需求和团队管理上。Felix 认为,我们可能花了太多精力告诉 AI 应该怎样工作,却没有给它足够的工具、数据和自主判断空间。在这次访谈中,Felix 提到了不少具体的做法。

当 AI 能够承担越来越多的工作,我们又该如何判断它做得对不对?尤其是在自己并不熟悉的领域,怎样避免被它一本正经的错误答案误导?Felix 分享了一个办法:“对抗式审查”——让多个 Claude 分别挑错,再由另一个 Claude 判断这些意见是否成立。

此外,他还建议,不必再刻意告诉 AI“你是某个领域的专家”,与其让模型扮演专家,不如直接为它提供专业工具和数据。在他看来,这种角色扮演式的提示词已经是 2024 年的做法,但如今的大模型已经是通才,刻意设定专家角色反而可能限制其能力的发挥。

访谈中,两人还聊到了软件创业和工程师的未来。当过去需要团队花几个月开发的软件,一个人也能在短时间内做出来,创业者的优势在哪里?对于刚进入行业的年轻工程师,哪些能力又会变得更加重要?Felix 结合自己的产品和招聘经验,给出了他的看法。以下是访谈完整译文。

太长不看版:

主持人 Marina: 不再亲自写代码后,你每天主要做什么?

Felix:智能体会先简要汇报当天的工作。我现在兼顾产品、工程、团队管理和数据分析,大部分时间用来尝试产品想法,让 Claude 做出不同版本,再评估哪些值得继续。

Marina:你怎么判断一个想法好不好?主要看哪些信号?

Felix:过去要先权衡开发和维护成本,现在可以让 AI 快速做出原型,试用后再判断。我看重的是,用户能否很快理解产品的用处,并借助它完成以前做不到的事。功能不是越多越好,好产品往往反而需要更少的按钮。

Marina:你会怎么判断,哪些任务交给 AI,哪些由人完成?哪些适合人机配合?

Felix:我会区分自动化和能力增强:前者帮助人节省时间和成本,后者让人做到原本因缺少技能或知识而做不到的事。我更关注后者。用好 AI,需要重新考虑工作流程,明确目标和评价标准,而不只是把旧任务交给新工具。

Marina:写作等创意工作很难描述和评价,该怎么告诉 AI 什么才算好?

Felix:不仅要看结果,也要看过程是否可靠,AI 碰巧猜对的不算做好。创意工作确实更难评价,但优秀创作者也有长期打磨的方法。与其笼统地要求 Claude“写好一点”,不如让它按照专业人士的步骤工作,让 AI 使用同样的方法和工具。这样往往效果更好。

Marina:面对自己不熟悉的领域,怎样避免被 AI 自信的错误回答误导?

Felix:可以用对抗式审查:一个 Claude 完成任务,另外几个对话专门找错,找错有时比创造更容易,所以此时可以用能力稍弱的模型。再由另一个 Claude 核查这些批评,把成立的意见交回去判断是否修改。如果自己能判断结果好不好,就没必要弄懂 AI 的每个步骤。

Marina:哪类知识工作,你已经能完全放心交给智能体?需要专门训练对应工作的智能体吗?

Felix:就我的使用经验,事实核查的工作已经可以完全信任 Claude。我会要求它为每个数字找到可靠的一手来源,这通常只需一个普通对话就够了。模型本身就是通才,不必为每项任务设定专家角色,过多的角色设定反而可能限制我们的用法。

Marina:你现在还用 Skills 吗?

Felix:经常用,但会谨慎选择。模型更新很快,为上一代模型写的 Skill 可能已经过时,有时删掉效果反而更好。也要考虑模型需要什么数据和工具。以前我逐个把崩溃问题交给 Claude 修复,后来发现自己只是在当“传送带”,于是让它直接查看全部崩溃数据,自行判断哪些需要修。

Marina:所有内容最后还是要我审核,怎样才能让 Claude 学会我是如何判断的?

Felix:先让它了解你过去给过的反馈,再和你分别审查同一份材料,对比意见有哪些异同,逐步调整流程,不必立刻完全放手。团队协作可以使用 Slack 里的 Claude,让多人共同参与。

Marina:软件越来越容易做,创业者的护城河在哪里?

Felix:开发成本降低了,但做好产品的关键没变:理解用户,了解使用场景,并做出让人愿意付费的产品。最初的点子可能会变,创始人理解需求、做出产品的能力更重要。

Marina:个人怎样才能更充分地发挥模型的能力?

Felix: 先想清楚眼前的工作最终要实现什么,再试着把更大的目标交给模型,不断探索它的能力边界。当然,这不等于直接让它“去赚钱”。但如果始终只用它总结邮件、调整语气,就很难真正发挥模型的作用。

做出一千个原型之后,什么才是好产品?

Marina:Felix,非常感谢你来参加节目,很高兴今天能和你交流。我是 Claude 的重度用户,频道的各项运营工作都在用它。团队成员也都在 Claude 里建立了各自的项目,处理自己负责的工作。对内容创作者来说,我的团队规模算比较大,有 35 个人,我希望大家提高效率,产出更多内容。今年,我们大概新开了三个社交媒体渠道,还推出了一份邮件通讯。一年半前,我们也开始运营 LinkedIn,这个平台以文字内容为主,AI 帮了不少忙。所以,我希望通过今天的交流,让自己、观众和听众都能更好地使用 AI。

Felix:据我了解,你已经用得很熟练了。

Marina:但总还有提升的空间,对吧?

Felix:确实,我自己每天也有新的体会。开发 Claude 最有意思的一点就是,你很难预料用户会拿它做什么。这和我以前参与开发的产品很不一样。比如 Slack,我大致知道人们会怎么用。但用户用 Claude 做出的事情,经常超出我的想象,有些甚至是我原本认为不可能做到的。作为产品开发者,看到用户用自己做的产品取得这样的成果,会特别有成就感。

Marina:有没有什么特别大胆的操作,让你看完也想试试看?

Felix:倒不一定是想照着做。不过,两天前,一位叫 Pavo 的用户让我印象深刻。我记得他是一名产品经理,他把大量 NASA 数据交给 Claude,让它寻找一颗新行星,结果还真找到了。据说,NASA 目前正在核实,还没有确认。我既不是天体物理学家,对这件事的了解也不够充分,所以也不敢说得太肯定。但看起来,Claude 可能找到了一颗此前从未被发现的行星。

Marina:这太有意思了。

Felix:我以前完全没想过,还能这样用 Claude。但仔细想想,对我们这些从事知识工作的人来说,让 AI 分析大量数据,从中寻找有价值的信息,其实是很常见的做法,我们每天都在做。只是我没想到,也可以让它分析公开的太空数据,找找有没有什么是我们此前没有注意到的。这个想法真的很美妙。

Marina:能不能说说你现在一天的工作是怎么样的?你参与开发了 Claude Cowork,却说自己已经不再亲自写代码了。那你早上开始工作时,通常会做些什么?智能体会先向你汇报当天的安排吗?

Felix:是的,它们确实会向我简要汇报当天有哪些事情。我现在看问题的角度也变了,比几年前做传统工程经理时,更关注人的情绪,更愿意花时间理解别人的感受,以及他们做事的方式。同时,我发现自己越来越少需要找其他专业人士帮忙,产品经理、工程经理、团队管理者和数据科学家的工作,现在我都能承担一部分。

至于每天具体做什么,我大部分时间都在做原型。我们会尝试很多想法,先琢磨几天,看看是不是个好主意,再让 Claude 把各种方案都做出来。有了原型,我们就可以逐一评估,判断哪些想法好、哪些不好。所以,做原型确实占了我每天很大一部分时间。

Marina:那你怎么判断一个想法好不好?主要看哪些信号?

Felix:这一直是个难题,我也没有一个全面的答案。但现在,判断一个想法值不值得做考虑的因素确实和以前不同了。过去十到十五年的产品开发,尤其是软件开发,很多决定的背后其实都是成本上的权衡:产品能不能做出来?后续维护和持续投入要花多少钱?需要多少时间?以及选择做这件事,会不会错过其他机会?工程经理得把这些都考虑清楚,才能决定要不要做。现在,我们可以更快地看到实际效果,直接让 AI 先做一个能试用的版本,亲自体验一下看看实际效果如何,再作判断。

但人的注意力仍然有限。比如,你对 AI 产品很有判断力,我一天也许只能请你看一个。我能轻松做出一千个,却没办法让你看完一千个。就算你愿意花一整天陪我看,到后来也会看不进去,觉得:“好了,我不想再看了。”所以,什么才算好产品?我觉得有句老话在 AI 时代尤其适用:完美,是没有什么可以再删去,而不是把所有功能都加进去。我们可以做出你想要的任何按钮,但我认为,好产品的按钮反而更少。

判断一个产品有没有用,我通常会把它交给几个人试试。如果他们很快就明白了它的用处,还能用它完成以前做不到的事,我就知道这个产品做对了。这才是我真正看重的信号。

Marina:那你会怎样判断,自己真正要解决的是什么问题?比如,你现在来到我的公司,会怎么决定哪些任务完全交给 AI,哪些留给人来做,哪些只让 AI 处理其中一部分?

Felix:首先,我会把自动化和能力增强分开看。有些任务占用了你的时间,让你没法去做自己喜欢的工作;还有些任务成本很高,自动化之后能省下很多钱或时间。在这些情况下,自动化确实很有帮助。我觉得,AI 目前创造的经济价值,大部分可能都来自这里。我们判断用 AI 值不值得,通常也是看自动化能带来多少收益。

不过,我更感兴趣的是能力增强,也就是让人们借助 AI,做到以前做不到的事情。你原本可能缺少某种技能、方法,或者不了解相关知识,无法独立完成,现在 AI 能帮你做到了。我去一家公司时,最让我印象深刻的,往往不是他们用了什么工具、工具能做什么,而是他们怎样调整了自己的工作方式。

AI 是一种很特别的产品。要真正用好它,你得重新想想自己是怎么工作的:最终想得到什么结果?怎样才算做好?拿到结果之后又该怎么判断?那些让我印象最深的人,通常都很善于反思自己的工作流程。

Marina:但这很难。拿我的工作来说,很多人用 AI 起草文章,可什么才算一篇好文章?知识工作也能有明确的评价标准吗?写代码也许比较容易判断,你知道自己想实现什么,也知道代码不能有漏洞。但对于知识工作,尤其是需要创造力的工作,你怎么告诉智能体,什么才算好?

Felix:确实很难。我经常举一个例子:假设你的工作是播报天气,你让智能体查一下外面的温度。这里就得想清楚,我们究竟该怎样评价它的表现。如果模型只是猜了一个温度,恰好猜对了,我们不应该让它过关,反而应该认为这种做法有问题。相反,如果它给出的温度差了半度,但找对了地点,查了可靠的数据来源,整个过程有理有据,那也应该比碰巧猜对更好。

但写作,以及其他很依赖审美判断的工作,确实更难评价。要证明一份成果比另一份更好并不容易。所以,我很喜欢和那些写得好、同时又愿意使用 AI 的作者交流。

Marina:他们会怎么做?

Felix:看他们工作很有意思。我的朋友 Adam Davidson 曾在几家很不错的媒体担任专职作者。他会用各种提示词让 Claude 帮他推敲文章,比如:“把我的论点放大一百倍。”“试着改动一下这篇文章。”“哪些地方你最不认同?”“最有力的反对意见是什么?”我不是职业作者,最容易想到的做法,就是把文章交给 Claude,说一句“帮我改好”。但我越来越发现,做知识工作,不能只是要求 AI 给出一个好结果,还要先想一步:这个领域最优秀的人是怎么工作的?能不能让 AI 完成其中的那些步骤?

Marina:这样可以模仿他们的工作流程,但还是缺少审美判断,所以我觉得仍然需要很多……

Felix:对,我同意。不过,有意思的是,真正优秀的作者,大多不认为自己写得好,只是因为有什么神奇的天赋。他们往往会说:“不是的,这是下了很多功夫才写出来的。”

大多数创作者都有自己的一套方法。如果你问他们:“你的作品好,是因为天生就擅长,自然而然就能做出来,还是因为你有一套经过多年打磨的方法?”前一种说法会让他们觉得受到冒犯。但和创作者聊得越多,我就越发现,他们很为自己的方法感到自豪。创作是很辛苦的,要把作品做好,有很多具体的步骤需要逐一完成,并不是坐下来,一本好书就突然出现了。你去作者的工作室看看,会看到很多白板,上面写满了资料和想法。

我在不同领域都发现,与其只告诉 Claude 想要什么样的结果,不如让它按照专业人士的步骤来做,效果往往很好。这样说可能有点抽象,我举个具体的例子。最近,大家应该看到了 AI 在动态视觉、视频和 3D 方面的进步。Opus 5.5 的能力确实提升了很多,但用户能做出更好的作品,还有一个重要原因,就是开始让 Claude 使用 Blender,直接告诉它:“请使用专业动画师用的工具。”结果就相当不错。这里真正起作用的,是创作所用的媒介、方法和工具,而不完全是模型本身理解了什么才是一部好的动画电影。

别让 Claude 给自己的工作打分

Marina:你刚才说,可以让 AI 按照专业人士的方式工作。可即使它会上网查资料,很多信息也没有公开,你怎么知道它给出的结果可信?比如,我想再尝试一种内容形式,或者像刚才说的那样寻找新星体,但我对此一无所知,只告诉它“像 NASA 的研究人员一样工作”。怎样才能避免它把错误答案说得很笃定,让我信以为真?

**Felix:这是个很好的问题,很多人都会遇到这种情况。我有一个简单、实用的办法,就是对抗式审查。**在编程、数学,以及其他能够用数字衡量效果的领域,这种方法已经被证明相当有效。做法是,先让一个 Claude 完成任务,再启动另外十个,专门来找它的问题。它们的任务就是提出质疑,证明这个结果为什么不对,基本思路和红队测试、做空类似。

Marina:你会用同一个模型来审查,还是换一个模型?

Felix:要看具体任务。不过,找出问题有时候比创造新东西更容易,人也是一样。让我评价一部新手机好不好,远比让我从头设计一部手机容易。所以,审查时通常可以用能力稍弱一些的模型,也能得到很好的效果。这是一个很实际的建议。

Marina:那提示词具体怎么写?如果已经有一套工作流程,需要额外加上什么要求?

Felix:假设你已经有了一份演示文稿或文档。就拿我今天早上写的那篇博客来说,我用的是 Claude Projects,这是我们的一个新产品,可以更方便地同时开展多个线程的工作。我会直接告诉 Claude:“启动五个线程,让每个线程都去证明这篇文章有问题:可能是我的思路不对,可能是事实有误,也可能是我理解错了什么。”它们带着这个明确的目标去审查,就是要找出我哪里错了。

Marina:那收到这么多意见,你怎么处理?我准备采访时也会这样做,只不过会用不同的模型,让它们看看我是不是在某个问题上钻得太深了。但最后收到的反馈各不相同,这个模型这么说,另一个又有别的意见,还有一个说的完全不同,结果还是得由我来决定。你怎么判断哪些意见值得采纳?

Felix:你应该会喜欢这个答案,也大概能猜到我要说什么了:还是交给 Claude。写代码时,我们会设置一个“裁判”。先让那些负责挑错的智能体列出主要意见,再交给另一个 Claude,让它逐一核查,判断这些意见是否成立。

接下来,根据你的工作流程,可以把有效的意见交回最初完成任务的 Claude,让它决定要不要修改。它也能判断,不必每条建议都接受。我们写代码时经常遇到,我自己做知识工作时也有同样的体会:有些意见听起来合理,却忽略了某个关键点,或者实际上没法据此修改,也没有多大帮助。到了这一步,我通常就知道,原来的成果已经相当不错了。如果你自己拿不准做得好不好,又不容易核实,就可以用这种办法。

不过,我用 AI 做的很多东西,其实不需要自己完全了解制作过程。对于每天使用的东西,我们本来就有自己的判断。比如,我重新做了自己的网站,里面用了很多 3D 素材。我从来没用过 Blender,完全不知道怎么操作,但我能判断这些东西看起来好不好、整体感觉对不对,这可能就够了。你可以把自己当作客户,不必弄懂每一步是怎么做的。生活中也常有这样的情况:无论是请人施工、找律师,还是看医生,我们未必有专业知识去判断对方的工作做得好不好,更多时候只能根据自己的感受提出反馈。

所以,如果你不知道怎样判断结果好不好,就多花一些 Token,让 AI 帮你做更多审查。如果你自己就能判断,那可能已经够了,不一定非要弄懂它是怎么做出来的。

Marina:我觉得,还是要挑出少数最重要的项目,去了解每一步是怎么做的,而不是所有事情都想控制。

Felix:对,还是那个老问题:能不能放手,不再事事过问。

Marina:确实很难,现在用智能体也会遇到这个问题。有没有哪类知识工作,你已经能很放心地交给它们,完全信任它们做出的结果?

Felix:事实核查,比如编辑工作中的事实核查,我现在完全信任它的结果。我会让 Claude 核实演示文稿里提到的所有事实,也不用反复检查很多轮,更不需要找五十个智能体,一个就够了。我会告诉它:“请为我提到的每个数字找到一手来源,并确认来源可靠。”这项工作,我现在可以完全放心交给它。

从替 Claude 搬运问题,到让它自己找答案

Marina:你说的这个智能体,是专门训练来做事实核查的,还是平时处理各种任务时用的那个?

Felix:就是开一个 Claude 对话。我接下来这个看法可能有点争议,你应该会喜欢:我觉得,我们有点过于强调“智能体”了。模型本身就是很出色的通才,这一点已经得到过很多次验证。比如,行业刚开始认真研究模型的数学能力时,我记得 Google DeepMind 是最早投入的公司。他们训练了专用模型,搭建了配套的执行框架,让它参加数学奥林匹克竞赛,拿到了银牌,在当时已经是最好的成绩。结果四五个月后,几家主要的通用模型也拿到了金牌。

我能理解大家为什么要给智能体设定角色。告诉它“你是一名数据科学家”,这样我们就更容易理解它能做什么。但被我们称为“数据科学家”的这个模型,其实也有能力处理顶尖生物学家、数学家等其他专业人士面对的问题。如果每次使用 AI,都要先给它安排好一套角色,有时反而会限制我们对它的使用。所以,我刚才提到的很多工作,都没有专门给智能体设定身份。

Marina:但给智能体提供什么数据,难道不重要吗?我们通常会给每个智能体上传特定的资料。还是说,你的 Claude 能调用所有工具,所以不需要再分别准备?可这样一来,它每回答一个问题,需要考虑的数据会不会太多了?

Felix:数据确实很多,但它已经很会判断哪些是自己需要的了。我不太赞成先把数据分成几份,再给每个智能体分配一份。我们自己工作也是一样,要把事情做好,往往需要了解整个业务,只看到一小部分信息是不够的。比如,我是工程经理,如果只能看代码,能发挥的作用就比较有限;但如果还能看到客户数据、了解客户沟通的情况,就能做得更好。有时销售团队和客户开会,我也想参加,听听他们怎么说。我还希望了解详细的产品使用情况,最好能看到业务数据,知道哪些做法有效、哪些没用。智能体也应该能获取这些信息。

但这不意味着要把所有数据一次性塞给它。给它工具,再把每个工具能查到什么数据说明白就行。比如,告诉它:“如果需要业务数据,可以用这个工具查询。”这样,它就能在需要时自己去查,不必先把所有内容读一遍。

Marina:那具体该怎么设置?听你这么说,我在想,是不是应该调整现在的做法,不再为每个项目单独准备一套资料。比如,我们有一个评估嘉宾的项目,里面放了完整的流程说明和以前各期节目的脚本,用来了解不同嘉宾的表现。我是不是可以直接告诉 Claude:“这个文件夹里有全部脚本,Notion 里有每位嘉宾的表现资料,这里是我们的评分方法。”把这些准备好,以后每次要评估嘉宾,就直接开一个新对话,不用再交代一遍背景,只说“帮我评估这位嘉宾”,它就能去做?

Felix:我不太愿意告诉别人,工作流程一定要怎么安排。我一直觉得,只要现在的方法对你有效,就没必要改。

Marina:可模型在进步,我也想跟着进步。这套方法已经用了一年,虽然一直有效,但一年已经很长了。

Felix:明白。如果你想知道我的建议,或者我自己是怎么做的,我还是会先说,每个人都应该选适合自己、用着顺手,也确实能帮上忙的方法。不过,模型现在确实更擅长调用工具了,知道什么时候该用、该怎么用,也不容易陷入反复调用的循环。它不会一发现有个工具能查数据,就想着:“那我一直查,直到把所有数据都查完。”现在,它们已经很会合理地使用工具,既能把事情做好,也不会浪费太多功夫。

所以,我现在不太会在开始前就替模型决定,这项任务需要哪些数据。这样一来,同时开展多个对话、处理多项工作也方便得多,整个过程简单了很多。

Marina:你还用 Skills 吗?

Felix:用,我们现在用得还是挺多的。不过,Anthropic 的官方建议和我个人的看法一致:使用 Skills 要谨慎。我们给模型写的指令,很多其实是针对上一代模型的。AI 更新得太快,一套原本很好用的 Skill,可能很快就不再适用了。有时把它完全去掉,模型给出的结果反而更好。

Marina:我记得有人也说过类似的话:先别管这些,直接写提示词,看看效果怎么样。

Felix:对,这个办法确实有效。当然,前提是你有办法评估结果,知道什么算好、什么算不好。我会仔细判断,哪些时候需要 Skills,哪些时候不需要。还有一个很好的思考角度:除了用户体验,也想想“模型体验”。假设你就是 Claude,接到了眼前这个任务,你需要什么才能把它做好?你很快就会发现,自己需要查看原始数据,需要一台电脑,可能还得安装一些软件,也希望能自己作判断,而不是先听别人告诉你他们已经得出了什么结论。

Marina:我希望直接看到原始材料,就像你说的,知道对方到底说了什么,再自己判断。

Felix:是的,只是前期要多做些准备。一年半前,我还是自己查看程序的崩溃记录,每发现一个问题,就交给 Claude 修复。很快我就意识到,自己不过是在给 Claude 当传送带,把问题一个个搬到它面前。与其这样,不如让它直接查看全部崩溃数据,自己判断哪些需要修、哪些不用修。虽然一开始得花时间把这些配置好,但很值得,因为之后就能让它承担更多工作。我从 AI 身上获得的很多实际价值,都来自这样的改变。

Marina:有些人听到这里,可能会觉得,要用好 AI,得先做很多复杂的配置。那对于今天才开始用 AI 做知识工作的人,是不是可以更简单一些?比如,直接让它查看邮件和自己写过的邮件通讯,从中了解自己的表达风格和业务情况,代替事先专门整理这些说明?

Felix:我觉得,现在开始用 Claude,最好的办法就是先下载桌面应用。里面有内置浏览器,可以登录你平时使用的系统,不必一开始就配置连接器、下载全部数据,或者做其他准备。先把键盘交给 Claude,让它操作一下你的电脑,就已经能做很多事情,也能看出哪些任务做得好、哪些还不行。

用上一段时间,你可能会发现,Claude 已经能通过浏览器,帮你完成公司内部系统或外部软件里的某些工作。这时,再考虑怎样让它操作得更方便:比如,接上连接器,让它直接调用相关功能,就不用在网页上一步步点击了。但刚开始,用浏览器就足以尝试很多事情。

Marina:我再确认一下:你说的“智能体”,其实就是在 Claude 里开启不同的对话,而不是事先设置一个研究助手、一个报税助手,分别负责不同的工作,对吗?

Felix:我确实会用项目来区分不同的工作,但不会给它们分别设定角色。我从来不会告诉 Claude:“你是一位非常优秀的某某专家。”2024 年很流行这样写提示词,比如:“Claude,你是一名优秀的工程师,请修复这里的问题。”

Marina:但我们刚才不是也谈到,可以让它像这个领域最优秀的人那样工作吗?

Felix:我的做法是,先让 Claude 告诉我,这个领域最优秀的人会用什么工具,再要求它使用同样的工具。现在很多模型仍有一个问题,拿数据科学或会计来说,如果你只是告诉它“表现得像一名优秀的会计师”,它就可能开始角色扮演。但我们真正需要的,是专业人士用的方法、工具和知识,不只是他们说话的方式。我不需要 Claude 装成专家,也不需要它说得像专家。我甚至希望它能用五岁孩子也听得懂的话来解释,但处理问题时,用的仍然是这个领域最好的工具。

Marina:现在还有哪些事情,你不放心交给智能体做?

Felix:这个问题不太好回答,因为我们总可以增加检查和验证。对我来说,更需要区分的是:这件事不能放心交给 Claude,还是不能只靠一个对话就完成?后面这种情况其实多得多。比如,我很少让 Claude 在同一个对话里评价自己刚做完的工作,这种自我评价目前还不太可靠。无论你用的是 Claude Code、Claude Cowork、普通聊天,还是项目里的对话,Claude 通常都不太擅长判断自己的工作做得好不好。

所以,我会尽量找外部信号来判断。实在没有其他办法,也可以另开一个 Claude 对话来检查,效果已经证明相当不错。但我更希望找到实际的外部证据,看它到底有没有把事情做好。有时,这也需要一点耐心,给 Claude 一些时间,看看最后的效果。比如,在你的领域,我只是猜测,播放量、订阅人数可能就是重要的指标。

Marina:对,我们看的是播放量。每次给 Claude 布置任务,我都会告诉它,这次需要达到多少播放量。但我们现在还没解决好怎么把反馈传回去。我会给团队提意见,团队修改后发布的内容,已经不是 Claude 最初给我们的版本了。可能七成内容没变,另外三成是我加的,体现了我的判断和偏好。怎样才能让 Claude 也学到这部分反馈?

Felix:我们有个办法,效果还不错。先问一下,你们平时在哪里给反馈?是当面说,还是通过其他方式?

Marina:我们平时在 Telegram 上给反馈,但 Claude 没法直接读取。我们有个机器人收集聊天记录,可我还是得手动让 Claude 去查看这些记录,找出里面的反馈。现在用起来还不太顺畅,甚至我们已经发出去的内容,也得专门让它去看。

Felix:我们写代码时也有类似的情况。团队里有很多工程师,你通常知道手上的工作适合找谁来审查,也知道每个人会重点看什么。Claude 很擅长从他们过去给出的反馈里,总结出这些要求和偏好。

Marina:比如 Slack 上的反馈?

Felix:是的,GitHub、Slack,或者其他任何留下反馈的地方。

Marina:你没有专门让它去看反馈?只是给它 Slack 的访问权限,它就会自己找吗?

Felix:如果 Claude 能调用相关工具,就可以自己收集你过去给过的反馈,不用你再逐条整理。你可以让它分三步完成:先收集你以前给过的反馈,再从中总结出你重视的规则和原则。有时还可以多问一步:“有没有哪些原则,是我一直在遵循,却连自己都没有意识到的?”以后让 Claude 审查工作时,就把这份清单交给它作为参考。我们试过这种办法,确实能让不同对话中的 Claude 按照更符合我们要求的标准提出意见。

对于编程以外的工作,或者不以文字为主的任务,这种做法可能就没那么容易了。但类似的办法还是可以尝试。比如,把客户会议的文字记录交给它,请它评价这次沟通进行得怎么样。我也经常为 Anthropic 做招聘面试,这就是一种典型的知识工作,也很值得尝试。

Marina:可这样还是它在教我,我想做的是让它学会我的判断。我觉得,很多开始用 AI 的人都遇到过这种情况,我自己也是:发现效率提高了,就想做更多事情,但又没有哪个智能体能让我百分之百放心。所有内容都要先经过团队,最后再由我审核,结果我反而成了公司最大的瓶颈。

Felix:坦白说,我觉得我们现在的产品已经能很好地帮你做这件事,前提是让 Claude 看一段时间,了解你平时怎么给反馈。我对此很有信心。刚开始,你可以和它分别审查同一份材料,再把意见放在一起比较。这个实验我几乎会推荐给所有人,也很有意思。如果你现在还不够信任它,肯定不会愿意一下子就完全放手。

具体来说,你先读一份材料,写下自己的意见,再看看 Claude 会怎么评价。多试几轮,比较哪些地方一致,哪些地方不同,也能据此调整工作流程。模型当然还不完美,有些意见也会和你不一样。但即使是同一个人,周一和周五看同一份文档,也可能给出不同的反馈。这样对照着看很有用,你能从中发现很多问题。

Marina:那我要怎么搭建这样的智能体,让它能和我的团队交流?比如,建个网站,让大家上传材料,再由它给反馈?

Felix:我建议用 Slack 里的 Claude。

Marina:再让它了解我的判断标准和偏好?

Felix:是的。目前,我们主要通过这种方式支持多人协作,大家可以同时和 Claude 对话。

软件越来越容易做,软件创业者的护城河在哪里?

Marina:现在,开发软件变得这么容易,对刚开始创业的人来说,什么才是真正有价值的?我想到自己 2015 年刚来这里时,我们做的是一个海外游学预订平台,雇了很多工程师,花了几十万美元,才把整个平台搭起来,实现各项流程的自动化。那时,这是一件很了不起的事,但现在,我自己两天就能做出来。在这种情况下,软件创业者的护城河在哪里?你有没有什么不一样的看法?

Felix:我觉得,其实没有那么大的变化。以前做产品,前期确实需要投入更多资金。现在,一个人或两个人也有可能创办一家价值十亿美元的公司,但做好产品的关键没有变:你得有同理心,理解用户,了解他们在什么情况下会用到你的产品,也要想清楚,这个产品对最终愿意付费的人究竟有没有价值。

我一直认为,这是创业团队最重要的能力。录制前,我们还聊到了 500 Startups。投资圈也普遍有这样的认识:创始人最初带来的点子没那么重要,因为以后很可能会变,关键是创始人本身。那创始人究竟重要在哪里?是天赋,还是技能?我认为,最重要的还是理解用户,并且能真正做出有价值的产品的能力。这一点一直没变,只是现在,把这种理解变成实际产品,已经容易得多。

Marina:我很认同。但有时,我刚有一个想法,就会在 X 上看到有人说:“这个新模型刚刚把某某产品干掉了。”也有很多人在用 Vibe Coding 给自己做小工具。你觉得,以后我们会不会越来越多地自己做工具,而不是付费购买?如果花一个小时就能做出类似的东西,我们为什么还要付钱?

Felix:我希望被淘汰的是那些不好用的软件。它们满足不了你的需求,你却因为找不到更好的选择,只能继续用。我想,每个人都能想到几个这样的工具,用起来不情愿,却又觉得:“没办法,我需要它,也没时间去找别的、换别的。”我觉得,这种情况会慢慢消失。

不过,正如我们刚才说的,做好产品仍然很难。能理解用户的需求,想出一个好办法来解决问题,依然很有价值。我喜欢的很多产品,其实都是我自己想不到的。我以前甚至写过博客,说 iPhone 很蠢,因为那时我觉得,手机怎么能没有键盘呢?

Marina:真的吗?

Felix:当然。我喜欢的大多数产品,都是别人想出来、做出来,再交到我手上的。我用这些产品,不是因为开发它们花了多少钱、用了多长时间,或者团队有多大,而是因为它们确实解决了我的需求,办法甚至比我自己能想到的更好。这样的产品仍然有价值。我希望被淘汰的,是那些明明很难用,用户却因为没有其他选择而不得不用的软件。我期待那个时候的到来。

Marina:你提到过,那些在后台默默支撑工作运转的 Windows 电脑,可能藏着很大的商业机会。能不能展开说说?

Felix:我平时做 AI 产品,参与 Claude 的开发。身在硅谷,很容易以为其他地方也和这里的创业公司一样,大家都用着最新款 MacBook。但去看看那些真正支撑日常业务的电脑和设备,就会发现完全是另一回事。比如,到了机场,往柜台后面看一眼,你会发现,他们甚至还没用上图形界面的系统,屏幕上仍然是黑白的文字界面。

Marina:是的,交通运输部门的那些系统。

Felix:我现在有时会专门留意这些地方,看看那些支撑日常业务的电脑到底在运行什么软件,也觉得挺有意思。最近一次是在酒店。我喜欢在办理入住时问:“你好,我是做软件的,平时开发工具。能不能给我简单看一下,你是怎么在这台电脑上帮我办理入住的?”看完真让人头疼,软件操作繁琐,体验也很差很糟糕。我觉得,很多公司都可以从这里找到机会,帮他们把这些软件做好。

早在 2010 年,AI 还没有像今天这么受关注的时候,我就开玩笑说,如果哪天想退休,就去给牙科诊所做一套真正好用的软件。

Marina:现在一天就能做出来了。我猜,难的反而是和客户建立关系。

Felix:是的,没错。

Marina:这才是最难的,而不只是把软件做出来。还有哪些产品或业务,是你希望有人去做的?

Felix:我觉得,能真正适应个人需求、把 AI 融入使用体验的软件,我们才刚开始探索。现在很多产品只是往侧边栏加了一个聊天机器人,用的也是便宜、能力有限的模型。它们能做的,大概就是读一遍常见问题,再根据你的提问给出答案。至于最强的模型能为各种应用带来什么,我们还没有充分探索。

如果问我希望看到什么样的创业公司,我还是想强调同理心,也就是理解客户的处境和需求。整个行业,包括投资机构,都还没完全适应眼前的变化。以前我们总说,点子不值钱,难的是把它做出来。而现在,把想法做成产品的成本已经大幅降低。接下来更重要的是,谁能和客户建立联系,走进他们的公司,弄清楚他们需要什么,以及现有的工作该怎么改进。这说不定是 MBA 毕业生大展身手的机会,他们现在也能创办一些很有希望的软件公司。

Marina:我刚和一位诺贝尔经济学奖得主聊过。他说,模型已经很强大了,但相应的应用还远远不够。你认同吗?模型能做什么,和普通用户实际拿它做什么之间,是不是还有很大的差距?

Felix:当然。模型已经具备的能力,确实有很多还没被利用起来。当你面前有一个这么强的模型,你却只问它“法国的首都是哪里”,这显然没有真正发挥它的能力。我们的创始人兼 CEO Dario,经常用“一个数据中心的天才”来形容 AI。我的工作就是想清楚:假设我们已经有了这样一群天才,怎样才能让用户真正用上他们的能力?

这需要创造力,也需要重新考虑自己的需求,以及哪些事情是可以做到的。这个问题很难,但其实一直都存在。限制人们的往往不是实际上能做什么,而是他们认为什么事情做得到。所以,我同意,我们现在用到的,只是模型全部能力中的一小部分。

Marina:那对个人来说,怎样才能更充分地利用这些能力?

Felix:我整个周末都在想这件事。在 X 上,经常有人说“我们应该更有野心”。但具体怎样才算更有野心,要看你在做什么。我希望大家先放下原来对“什么能做、什么不能做”的判断,重新想一想,为什么要做眼前这项工作。比如,你在公司里完成一项任务,是希望接下来实现什么?试着把后面那个目标也交给模型,而不是只让它完成眼前这一步。

当然,你不能一直这样往上推,最终还是会碰到当前最强模型的能力上限。比如,大多数企业的目的都是赚钱,但你如果直接告诉 Claude“去赚钱”,它大概也做不了太多。我们还没有到可以把最终目标完全交给它的阶段,能交给它的任务,仍然介于具体步骤和最终目标之间。但只有不断尝试,碰到了那道上限,你才知道自己已经把当前模型的能力用到了极致。这样,下一代模型出来时,你也能真正受益。如果你始终只是让它总结邮件,或者把邮件的语气改得温和一点,那你其实没有真正发挥新一代模型的能力。

工程师的价值,在于做出真正有用的产品

Marina:软件工程的工作方式一直在变。对于现在刚入行的人,你会给什么建议?

Felix:这要看你想做一个怎样的软件工程师。我们现在多少都有些困惑:软件工程师的价值到底是什么?是把 React 的整套 API 都记住吗?我就是靠这个为用户创造价值的吗?现在,这样的能力可能已经没有以前那么重要了。对我来说,这是个好变化,我一直是根据实际贡献来评价工程师的:你做出的软件,用户喜不喜欢,愿不愿意付费?有些方案非常优雅、精巧,能让我们为自己的技术水平感到自豪,可如果用户没有从中受益,我始终觉得,这样的方案价值有限。

Marina:那这种能力该怎么培养?如果现在每个岗位都开始要求资深水平,新人该重点学什么,才能在三年后仍然有竞争力?

Felix:我当年进入这个行业,靠的是拿得出手的作品,今天我也会给出同样的建议。而且,现在做出真正能用的东西,而不只是一个展示用的样品,已经容易得多。所以,我建议年轻人去做一些实际的项目,证明自己能把东西做出来,能理解用户、和客户交流,也能判断哪些需求有必要做,哪些没必要。

软件工程的定义确实有了一些变化,我个人觉得是好事。我也看到,很多年轻人适应得比一些资深工程师更快。后者过去可能只需要按工单完成任务,不必经常追问为什么要做。而现在,已经有很多年轻人用新的方式做出了很好的成绩。反过来说,我不太建议再花大量时间死记某套 API,这件事的意义确实下降了。但能想出有价值的办法,把不同系统组合起来,仍然很重要,而且现在更有价值,因为实现起来快多了。你可以直接把几个系统交给 AI,告诉它:“我要把这几个部分组合起来,去做吧。”

Marina:除了能力,招聘时还有什么是你特别看重的?我不知道你具体怎么招人,现在还很看重简历吗?我自己还是会看的。你刚才提到人与人的联系,这对我们这个行业很重要。我希望招到认识相关人士、了解其他公司怎么做业务的人,因为很多信息不是公开的。比如,播客合作该怎么报价?我需要有人清楚市场上的实际情况,所以我们会看人脉。但招聘创意岗位时,我们会看应聘者以前做的视频有多少播放量,这能说明他会不会做内容。我当然不会看他拿了什么学位。

Felix:没错。我不知道这个看法现在还有没有争议,也许因为我们都在与科技有关的行业工作,但我一直不太在意一个人拿了什么学位、上过哪所学校。我更愿意看他做过什么,能不能让我实际体验一下。从这些作品里,我能看出他是不是团队中作出关键贡献的人,或者至少参与过一个成功的项目。这些信息对我很有价值。

如果没有实际成果可以参考,我可能才会用学校和学位作判断。但有作品,就不必这样了。如果一个人已经证明自己能做出出色的东西,另一个人没有这样的成果,只是学历很亮眼,我一定会选前者。

Marina:如果你的孩子长大后对你说:“爸爸,我想学编程。”你会怎么建议她?

Felix:她现在才九个月大,到时候情况应该还会变不少。

Marina:那你现在应该已经在排托儿所的队了。我提醒你一下,孩子长得比你想象中快。

Felix:我会对女儿说什么呢?我想,我会建议她尽早了解公司怎样运作,人们怎样合作,以及怎样找到真正有价值的事情。我没在滑铁卢大学读过书,但很喜欢它的培养方式。那里有很多优秀的人才,而且在计算机科学和工程教育上,一直有一套很特别的做法。

当然,这只是我的外部观察,他们可能未必同意。我来自德国,那里的计算机科学教育很偏重学科本身,要学很多数学,却很少教你怎样做出一个好产品,更不用说其他工程实践。在德国,很长一段时间里,大家甚至觉得,真正的计算机科学家不应该用 JavaScript。

滑铁卢大学很不一样。我招过一些那里的实习生和初级工程师,他们在正式工作前,已经通过实习去过五家公司。在旧金山,这种情况很常见:来我们这里的实习生,已经是第四次实习,此前在特斯拉、谷歌和苹果都待过。他们知道很多公司实际运作中的事情,了解不同做法的优缺点,知道怎样推动一个想法、争取资源,也知道怎样和法务沟通,把事情做成。

有了这些经验,他们几乎一入职就能发挥作用。也许我这里才是他们的第一份正式工作,但他们和那些即使拿了计算机科学博士学位、却从未在公司工作过的人,已经很不一样了。后者在专业上可能很出色,但我们都知道,做好产品并把它推向市场,远不只是知道该写什么代码。你还得会与人交流,和其他部门合作,了解公司是怎么运作的。所以,我会建议女儿认真培养这些能力。

Marina:我很喜欢这个建议。

Felix:你会怎么告诉自己的孩子?面对不断变化的经济环境,你觉得她们应该做什么?

Marina:我会让她们什么都去试试,也告诉她们,自己可以成为任何想成为的人。比如,我跟女儿说“你可以造一个机器人”,她可能没什么兴趣;但我说“你可以成为机器人女王”,她就会说:“我喜欢机器人女王。”我们还买了一辆可以自己编程的自动驾驶小车。

Felix:那很有意思。

Marina:她和爸爸一起做那辆小车。我就是想让她们知道,什么都可以尝试,不要因为觉得某件事离自己太远,就连碰都不敢碰。我刚来这里时,总觉得这里的人像是来自另一个星球,在斯坦福上学的人对当时的我来说简直遥不可及。后来接触多了才发现,他们也都是普通人。所以,我希望女儿们明白,只要愿意努力,也真正热爱,就有可能做到自己想做的事。

Felix:我特别喜欢你这个想法。AI 圈子里经常谈“要更有野心”,而人们之所以不够大胆,就是因为我们习惯了只相信某些事情做得到。一旦觉得做不到,连试都不会试。很多时候,真正限制我们的,是我们对可能性的判断,而不是模型的能力,甚至也不是我们自己的能力。这也是我看好年轻一代的原因:我们习以为常的那些限制,他们可能从来没有经历过。

Marina:今天已经聊了很多,最后想听听你对未来的看法。你觉得,五年后我们的生活会有什么不同?

Felix:这个问题太大了,我不确定自己是不是最适合回答的人。我知道,参加播客有一种“职业风险”,就是总得预测未来。到目前为止,我最大的感受是,我们都没能准确判断 AI 智能的增长速度。我们知道它在指数式增长,但这种增长最终意味着什么,真的很难凭直觉理解。

我经常想到数学。当我们在数学奥赛上拿到银牌时——这里说“我们”,其实指的是谷歌,我是站在整个行业的角度来说——我已经知道规模定律,也知道模型的能力在不断进步。但如果当时有人问,AI 什么时候能解决那些我们原本认为它解决不了的数学问题,我大概不会想到是 2026 年年中。我可能会说:“那不就只剩一年半了吗?怎么可能?”所以,靠直觉判断未来会怎样,确实很难。这是第一点。

另外,有一件事我比较有把握:今天我们使用的这些产品,以后都会变得很不一样。现在 AI 已经这么普及,很容易让人觉得,它大概就是现在这个样子了。但我相当确信,今天的 AI 产品,就像智能手机出现前那些形态各异的手机。我们还处在 iPhone 问世之前的阶段,这也是我觉得做这份工作很令人兴奋的原因。

Marina:这太有意思了。我们还在“iPhone 之前”的阶段,就已经有这么多变化。你让我重新想了想自己的整套工作流程,我甚至都不好意思给你看现在是怎么做的。

Felix:只要有效,就没关系。

Marina:但确实很过时。我们把数据交给 AI,再明确告诉它该看什么。不过,我现在明白了,让它自己访问所需的信息,能发挥更大的作用。

Felix:这也是难的地方。今天我给你的这些建议,再过大约十周,可能就得重新调整一遍。

Marina:所以,我们也得像一个持续在线的智能体,留意新模型,不断尝试新的用法。非常感谢你,Felix。

播客链接:https://www.youtube.com/watch?v=D-SVFneJ_Nk&t=3s

博文****链接:《How to be more ambitious: A tutorial for humans with models》https://felixrieseberg.com/how-to-be-more-ambitious-a-tutorial-for-humans-with-models/