关于嘉宾 Andrej Karpathy（安德烈·卡帕西）：
1986 年生于捷克斯洛伐克、后随家人移居加拿大的 AI 研究者。斯坦福大学博士（2011–2015，导师李飞飞），博士期间主导设计并主讲了斯坦福首门深度学习课程 CS231n，被誉为全球深度学习入门"圣经"。
博士毕业后联合创立 OpenAI（2015），是创始团队成员之一。2017 年加入特斯拉，担任 AI 总监近五年，主导 Autopilot 与 FSD 的视觉感知、训练基础设施与数据闭环，是把"端到端神经网络"真正落地大规模量产的少数人之一。
2023 年离职后创立 Eureka Labs，定位"AI 原生教育公司"，并继续以个人身份发布 nanoGPT、microGPT、llm.c、minbpe 等一系列"最小化可读"的教学开源项目，被视为 AI 圈最受关注的研究者 / 教育者之一。他以"不装、不绕、敢下判断"闻名于 X 平台，是 OpenAI 创始团队中最常公开质疑大模型发展路径的成员。
关于节目 No Priors：
硅谷知名 AI / 科技播客，由前 Goldman Sachs 投资人、Conviction 创始人 Sarah Guo 与 Color Genomics 联合创始人 Elad Gil 共同主持，2022 年开播。每期约一小时，对话 AI 领域最具影响力的创始人、研究员与投资人——嘉宾名单包括但不限于 Sam Altman、Dario Amodei、Demis Hassabis、Yann LeCun、Bill Gates、Vinod Khosla 等。是 Y Combinator、a16z 等机构内部推荐的 AI 必听节目之一，被普遍认为是"听 AI 一线思考密度最高的英语播客"。
本集（2026 年初录制）是 Karpathy 第三次上 No Priors——上次是 2024 年 9 月的"Software 3.0″专题。这一次他从自身每天"与 agent 共处 16 小时"的第一人称视角，系统聊了编程智能体的能力跃迁、AutoResearch 实验、open source 与 frontier model 的格局、数字 vs 物理世界的工作替代、micro-GPT 200 行 Python 的教育反思，以及"是否回 frontier lab"的 Noam 提问。
1 · 预告片（Karpathy 独白）
Andrej Karpathy"编程已经不再是一个合适的动词了，对吧？我现在每天要花 16 个小时向我的智能体表达我的意图。Manifest。'
"我能不能不再只跑一个 Codex 或 Claude Code 这类 agent 框架的会话？怎么才能跑更多？怎样才算恰当？智能体本身现在已经被视为理所当然，像 claw 这样的实体也被视为理所当然；而且你可以同时跑很多个，可以给它们指令，可以对指令本身做优化。"
"但我的意思是，这就是为什么我会陷入这种'精神病'状态——这一切是无止境的，一切都是'技能问题'。"
2 · 12 月以来的范式翻转
Sarah Guo听众朋友们好，欢迎回到 No Priors。今天我请到了 Andrej Karpathy，我们将进行一次涵盖广泛话题的对谈——编程智能体、工程的未来、AI 研究、如何让更多人参与到研究、机器人领域的最新进展、他对智能体如何触及现实世界的预测，以及下一个时代的教育。欢迎 Andre。
Andrej Karpathy谢谢你邀请我。
Sarah GuoAndre，谢谢你参加。AI 这几个月非常令人兴奋。
Andrej Karpathy哦是啊，可以这么说。
Sarah Guo我记得有一次走到你办公室，你当时状态非常专注。我问你忙什么，你说"我必须每天编程 16 个小时"——或者说，"编程已经不再是一个合适的动词了，对吧？我必须每天花 16 个小时向我的智能体表达我的意图。Manifest。"因为能力发生了飞跃。跟我说说你的体验。
Andrej Karpathy是的，我感觉我一直处于一种持续的、我到现在也经常处于的"AI 精神病"状态，几乎无时无刻。
因为作为个人、作为个体，你能达成的事情出现了巨大的解锁——以前你被自己的打字速度等瓶颈卡住。但现在有了这些智能体，真的——我觉得 12 月份是一个转折点，一切都变了：
我从"80% 自己写代码、20% 委托给智能体"变成了"20% 自己写、80% 委托"。而且到现在我都不觉得是 20:80 了，应该远远超过这个比例。我觉得从 12 月份以来，我可能一行代码都没自己写过。
3 · Token 吞吐焦虑 · 多 agent 并行 · Peter Steinberg
Andrej Karpathy这是一个极大的变化。我跟人聊起来——比如跟我父母——但我觉得一个普通人其实没意识到这件事已经发生，或者意识到了但没意识到它的戏剧性。
你只要随便找个软件工程师看看他在工位上做什么，他现在的默认工作流——也就是构建软件的方式——基本上从 12 月份起就完全不一样了。所以我就处在这种"精神病"状态里，拼命想弄清楚什么是有可能的，把它推到极限。怎么不只跑一个 Codex 或 Claude Code 这类 agent 框架的会话？怎么同时跑更多？怎么跑得合适？怎么用这些 claw？claw 是什么？这些事情太多了。
我想站在最前沿，但我很焦虑自己没站在最前沿。我在 X 上看到很多人做各种听起来都很棒的想法。我必须站在最前沿，否则我极度紧张。所以我大概就处在这种"精神病"状态里，搞清楚什么是有可能的——因为从根本上来说，这还是一片无人区。
Sarah Guo如果你紧张，那我们更紧张。我们 Conviction 合作的团队，他们的设置是：所有工程师都不再手写代码，全员都戴着麦克风，对着智能体低声说话。这是我见过的最诡异的工作场景。我以前觉得他们疯了。现在我完全接受了——"啊，原来这条路就是对的，你们只是比我领先。"关于你自己的能力——怎么去探索或者做项目？限制是什么？
Andrej Karpathy限制是什么？基本上一切都限制了。即使事情做不成，我也很大程度上觉得这是"技能问题"。不是因为能力不存在，而是你还没找到方法把现有能力串起来。
比如我只是给智能体的指令不够好——不管是 Codex 还是别的。或者我没有一个足够好的 memory 工具塞进去，诸如此类。所以当事情做不成时，归根结底都是技能问题。你想的是怎么让它们并行起来，等等。你基本上想成为 Peter Steinberg。
Sarah GuoPeter Steinberg 很有名。他有一张很搞笑的照片：站在一排显示器前——他用 Codex，很多 Codex 智能体对着屏幕。如果你用对了 prompt、用 high effort，它们每个大约要 20 分钟。所以他同时让 10 个 repo 保持打开，他就在它们之间来回穿梭，不断给新任务。
他基本上能做到更大的宏观动作。不再是"给你一行代码"或"给你一个新函数"，而是"给你一个新功能"，委托给 agent 一号；"给你另一个不会跟它冲突的功能"，委托给 agent 二号。然后尽量去 review 它们的工作，取决于你有多在意这些代码。
那些能让你操纵代码库的宏观动作在哪里？另一个 agent 在做研究，另一个在写代码，还有一个在为某个新实现想方案。一切都发生在这些针对你代码库的宏观动作之上。
Andrej Karpathy你就想变得非常熟练，为它建立肌肉记忆，这件事本身是极其……
是的，这种事很有回报——第一是因为它真的有用，第二是因为它是一个新的东西需要去学。所以这就是为什么会进入"精神病"状态。
我的本能是：每当我等一个智能体完成某件事，最明显的反应就是"我可以做更多事"。如果我有更多 token，我应该并行，加更多任务。这非常消耗人，因为如果你不觉得自己的 token 花费能力是受限的，那你就成了这个系统里最大能力的瓶颈。
Sarah Guo如果你都没把自己的订阅额度用完——而且理想情况是跑多个 agent。如果你 Codex 用完了，应该切到 Claude 之类的。我不知道，我就是这么做的。
我会因为还有订阅额度没用而焦虑，那就说明我还没最大化我的 token 吞吐。
Andrej Karpathy我在读 PhD 的时候也有过这种体验：当你的 GPU 没在跑，你会焦虑——你有 GPU 能力，但没把你能用的 flops 用满。但现在不是 flops 了，是 token。
你的 token 吞吐是多少？你能调度多少 token 吞吐？我会说一件很有意思的事：过去 10 年，在很多工程任务里，人们从来没感觉被算力卡住。但现在整个行业都感觉到了，感觉自己被资源卡住了。
当你有了这个大能力跳跃后，你发现真正卡住你的不再是算力了，而是你自己。
Sarah Guo嗯，就是技能问题。但这反而很 empowering，因为你可以变得更好。所以这非常令人上瘾——因为每次你变得更好，就会出现新的解锁。
Andrej Karpathy那它会往哪里走？如果你想想——Andre 每天迭代 16 小时，大家也都这样，越来越会用编程 agent。那一年之后会怎样？或者两年、三年、五年、十年？大师级水平是什么样的？
Sarah Guo大师级水平是什么样的？
Andrej Karpathy我觉得基本上每个人都在往栈上爬。所以不再是单个 agent 会话，而是多个 agent，它们怎么协作、怎么组队。
所以每个人都在摸索这看起来是什么样。然后我要说 claw 也是一个有意思的方向——当我提到 claw，我指的是一个把持久性带到一个全新层次的层。它不是那种你要交互式介入的事情。它有自己的小沙箱、自己的小——即使你不在看，它也会代表你做事。它可能有更精密的 memory 系统，这些在 agent 里还没实现。
所以 OpenClaw 的 memory 系统比默认的（也就是 context 跑满时的压缩）要精密得多。
Sarah Guo你觉得是这一块让 OpenClaw 对更多用户产生了共鸣，而不是更广泛的工具访问？
Andrej Karpathy是的。我能想到至少五件事让用户有共鸣，里面有很多好点子。干得好，Peter。我最近见了他，今晚跟他聊过。他很谦虚，但他同时在五个方向做了创新，并把它们组合到一起。比如 SoulMD 文档，他精心塑造了一个挺有吸引力的"人格"。我觉得现在的很多 agent 没把这事做对。
我觉得 Claude 的"人格"做得相当好——感觉像是一个队友，跟你一起兴奋。Codex 就干得多得多，挺有意思——因为在 ChatGPT 里 Codex 是那种很 upbeat、很 sycophantic 的；但在 Codex（编码 agent）里它非常 dry。它好像不在乎你在做什么。它会说"我实现完了"。OK，但你理解我们在做什么吗？这是真的。
然后我要说 Claude 把 sycophancy 调得挺好——当 Claude 给我表扬的时候，我感觉我确实稍微配得上这个表扬。因为有时候我给它的想法并不是很成型，它不会反应很强烈。它会"哦，我们可以实现"。但当确实是个好主意的时候——按我自己的判断——它确实奖励得更多一些。所以我感觉自己是在努力赢得它的表扬，挺诡异的。
所以我觉得"人格"真的很重要，我觉得很多其他工具可能没把这事看那么重。
Sarah Guo这一块也是，Peter 很在意这件事。这点对了。然后是 memory 系统，然后他就是玩得很开心。还有单个 WhatsApp 入口的工具自动化。
4 · Dobby：智能家居里的 claw
Andrej Karpathy你除了软件工程之外，还用 claw 做了什么好玩或有意思的事吗？
是的，一月份的时候我搞了个 claw。我经历了一段 claw 精神病。我基本上建了一个专门照顾我家的 claw。我叫他 Dobby——Dobby·小精灵 claw。基本上我用 agent 把家里所有的智能家居子系统在本地网络里找了出来。我还挺惊讶这一下就能用。
我直接告诉它"我家应该有 Sonos，能不能试着找一下"？它就 IP 扫描了本地网络上的所有设备，找到了 Sonos 系统。发现它根本没有密码保护。它就直接登进去了，说"是的，你装了这些 Sonos 系统"。让我反向工程它怎么工作的。它做了些 web 搜索，找到了 API 端点。然后它问"要不要试试？"我说"哇，你刚才就这么干了"？我说"行，在书房里放点东西试试"。它放了，音乐出来了。我不敢相信……这太疯狂了。就三个 prompt。我不敢相信我只是打了"你能找到我的 Sonos 吗"，然后它就在播放音乐了。
灯也用同样方式搞定了。它基本上黑进去，搞清楚了一切，建了 API，建了 dashboard。所以我能看到家里所有灯的"指挥中心"。然后它就可以开关灯。
我可以跟它说"go be at sleepy time"。"sleepy time"就意味着所有灯关掉，等等。所以它控制我家所有的灯、HVAC、窗帘、泳池和按摩浴缸，还有我的安防系统。我有一个摄像头对着房子外面。任何时候有人开进来，我就有一个 Quinn——一个 Quinn 模型——去看视频。首先做变化检测，然后基于变化检测发给 Quinn。它会真的告诉我：发一条 WhatsApp 消息给我，显示一张来自外面的图片，说"嘿，FedEx 卡车刚刚停下了，你可能想看一下，你有新邮件了"之类的话。Dobby 真的给我发这个，太不可思议了。
5 · App 时代的终结：customer 不再是人类
Andrej Karpathy所以 Dobby 负责这整栋房子。我通过 WhatsApp 跟它对话。能用这些宏观动作维护我的家，真的很好玩。我没有把它推得更远。我觉得别人用得更疯狂。但对我而言，即使只是家庭自动化这个设置——以前我需要用六个 app，六个完全不同的 app——现在我不需要用这些 app 了。Dobby 用自然语言控制一切。这太神奇了。
所以我觉得我甚至还没完全把一个范式推到底，但就这已经非常有用、非常启发了。
Sarah Guo你觉得这是不是从用户体验的角度反映人们对软件的期待？因为学新软件、新 UI 对人类是有负担的，但这一点被大大忽视了。
Andrej Karpathy是的，我觉得在某种程度上是的。这是一种从人们对 AI 应有样子"倒推"出来的东西。因为人们脑子里 AI 的样子，其实并不是 LLM 原始意义上是什么——LLM 是个 token 生成器，更多 token 出来。但他们想的是那种你可以告诉它事情、它会记得的"人格身份"。它就是 WhatsApp 背后的那种实体，更容易理解。
所以某种程度上，这是匹配了人们对 AI 应有行为的预期。但表面之下有很多技术细节。LLM 对于大多数人来说，作为"AI"这个角色来说太原始的底层基元了，如果这样说有道理的话。
Sarah Guo我觉得我们就是这样理解 AI 的，把它叫 Dobby 或者什么，描述方式显然能跟人产生共鸣。我也觉得你在六套不同的家庭自动化软件系统之间做的统一，涉及到一个不一样的问题——人们真的想要今天这么多软件吗？
Andrej Karpathy是的，没错。因为我会这样反驳：你有硬件，但现在你把软件或 UX 层扔掉了。你觉得人们想要这个吗？是的，我觉得有一种感觉——App Store 里那些用来控制智能家居设备的应用——在某种意义上本来就不该存在。不就该只是 API，然后让 agent 直接调用吗？我可以做出任何一个独立 app 都做不到的家庭自动化事情，对吧？一个 LLM 实际上可以驱动工具、调用所有正确的工具、做相当复杂的事情。
所以在某种意义上，它确实指向了这一点：也许有过多的定制专用 app 被过度生产了，它们不该存在，因为 agent 某种程度上把它们都"揉碎了"。一切都应该是更多的 API 端点暴露出来，agent 是智能的胶水，工具调用所有的部分。
另一个例子：我的跑步机有个 app，我想跟踪我多久做一次有氧运动，但我不想登录 web UI 走一遍流程等等。这一切都应该只是把 API 暴露出来。这正是走向"agentic web"或"agent-first tools"的方向。
所以我觉得整个行业必须在很多方面重新配置——客户不再是人类了，而是代表人类行动的 agent。
Sarah Guo这种重构在某种意义上会是巨大的。
Andrej Karpathy人们有时会这样反驳：是不是期望普通人来 vibe-code 这些工具？是不是期望普通人做我描述的这些事？我觉得在某种程度上，这就是今天技术本身的样子。现在确实有一些 vibe coding，我也在看、在用这套系统。
Sarah Guo但我感觉我刚才说的这些，1、2、3 年内就应该是免费的——不需要 vibe coding，trivial，table stakes。这是任何 AI、即使是开源模型都能做的事。你应该能非常容易地把不那么技术化的人类的意图翻译成这个 app。极其容易。今天它叫 vibe coding、它很复杂、没多少人会做。而且你还要做设计决定，对吧？我们聊过像 take frames 这个例子。
是的。但我感觉这只会越来越……门槛会降下来，它只是"代表你的 ephemeral software"。某种 claw 在处理所有细节，但你不参与。Claw 有台机器它会自己搞定，它只是给你展示 UI，你说事情就行。你为什么——我猜，没有把 claw 的边界推得更远呢？你是在专注更重要的项目，比如 AutoResearch，还是在爬上精通的山，还是别的什么？
Andrej Karpathy是的，我感觉自己被一切分心了。我花了一周搞 claw，还有更多事几乎要做。但我要说的是——
就像 Jensen 跟我们说的，我们只是更忙了。
Sarah Guo是的。我没有真正用上很多比如邮件、日历之类的东西。也没有让它访问这些，因为我还有点怀疑，而且它还很新、还粗糙。所以我不想让它完全访问我的数字生活。一部分是出于安全、隐私顾虑。所以有些是被这些拦住了。
Andrej Karpathy是的，那可能是主要因素。但也有一部分就是我感觉被分心了，因为一周搞 claw 然后别的事又来了。
6 · AutoResearch 的动机
Sarah Guo你之前说过，你想看到 agent 能做的一件长期任务是训练或至少优化模型。AutoResearch 背后的动机是什么？
Andrej KarpathyAutoResearch，是的。我之前发过一条推文大意是：
要充分利用现在可用的工具，你必须把自己从瓶颈里拿掉。你不能在那个位置上 prompt 下一件事。
你需要把自己抽离出来，把事情安排成完全自治。怎样才能最大化你的 token 吞吐且不介入？这是目标。所以我提过，现在游戏的名字就是"提高或杠杆化"——我只是偶尔投入非常少的 token，而大量事情是代表我发生的。
所以 AutoResearch——我发了那条推，人们似乎挺喜欢，但他们可能没真正想清楚它的含义。对我而言，AutoResearch 是它的一个推论例子。就是说，我不想做那种在 loop 里看结果的 researcher。我在拖系统的后腿。所以问题是：怎样才能重构所有抽象，让我能"安排好然后按 go"？
游戏的名字就是：怎样才能让更多 agent 跑更长时间、不用你介入、代表你做事？AutoResearch 就是：这是一个目标，这是指标，这是你能做和不能做的边界，去吧。
Sarah Guo你对它的有效性感到惊讶。
7 · 递归自改进：把研究者从 loop 里拿掉
Andrej Karpathy是的，我没想到它能 work，因为我有项目 NanoChat。
从根本上说，我觉得很多人对我的训练 GPT-2 模型这些 session 感到很困惑。但对我来说，训练 GPT 模型这些只是一个小 harness、一个训练 LLM 的 playground。我从根本上更感兴趣的是这个递归自改进的想法——到底能让 LLM 改进 LLM 多少。因为我想所有前沿实验室都因为显而易见的原因在做这件事。它们都在做递归自改进。所以对我来说，这有点像它的一个小游乐场。
我猜我已经手工相当多地调优了 NanoChat——以我习惯的那种老派方式。我是研究者，做这种事已经差不多二十年了，我有某种……怎么说，是"earned confidence"吧——就是两十年里几千次训练一个模型的经验，做过大量实验、超参调优，所有我能做的、我都做过。我已经达到一个点，我觉得它已经调得相当好了。然后我让 AutoResearch 跑了 overnight，它带回了一些我没看到的调优。是的，我确实漏掉了 value embeddings 上的 weight decay，我的 Adam betas 也没调到位。这些事情是相互影响的——一旦你调了一个，别的事情也可能要变。
我不应该成为瓶颈。我不应该跑这些超参优化的研究。我不应该看结果。这个场景里有客观标准。所以你只要安排好让它能永远跑下去就行。这是 AutoResearch 的某种单 loop 版本——单 loop 尝试改进。
我很惊讶它能在——这个 repo 已经调得相当好了——还能找到东西。这还只是单个 loop。前沿实验室有上万个 GPU 的集群。所以很容易想象怎么在小模型上把这种自动化做很大。根本上说，前沿智能周边的所有东西都是关于外推和 scaling loss。所以你在小模型上做大量探索，然后试着外推出去。
Sarah Guo所以你的意思是我们的研究工作会变得更高效？我们会有更好的方向——当我们做 scale 时——如果能把这个实验做得更好的话？
Andrej Karpathy是的，我会说最有意思的项目、也是前沿实验室正在做的，就是：你用小模型实验，你尽量让它自治，把研究者从 loop 里拿掉。他们牵扯得太多了。什么是反义词？"高度自信"吗？是的，他们不知道。他们根本不应该碰这些东西。
所以你必须重写一切——现在当然，研究者可以贡献想法，但他们不应该真的实施这些想法。有一个想法队列。也许有一个自动化的科学家，基于所有归档的论文和 GitHub repos，提出想法把它们送进队列；或者研究者贡献想法，但都是同一个队列。然后有 worker 把条目拉出来，试验它们，能 work 的就被放到 feature branch 上。也许一些人监控 feature branch，偶尔 merge 到 main branch。所以就是把所有人类过程都拿掉，尽可能自动化，得到高 tokens/s 吞吐。
这需要重新思考所有抽象、一切都要 reshuffle。所以是的，我觉得这非常激动人心。
Sarah Guo如果我们再往前走一步递归——模型什么时候能写出一个比你更好的 program.md？
Andrej Karpathy是的，program.md 是——我们不在 loop 里。是的，没错。program.md 是我那个粗略尝试去描述自动研究员应该怎么工作。比如：做这个、做那个、然后试这些想法；这里可能有些点子，比如看看架构、看看优化器，诸如此类。但我就是用 Markdown 写的，对吧？
所以，是的。你想要某种 AutoResearch 的 loop——可能去寻找——你可以想象不同 program.md 会带来不同的进展。所以基本上每个研究组织都由 program.md 描述。一个研究组织就是一组 Markdown 文件，描述所有角色和整体怎么连接。
你能想象有一个更好的研究组织。也许它们早上少开站会，因为站会没用。这一切都是代码，对吧？所以一个组织可以少开站会，一个组织可以多开，一个组织很冒险，一个组织不那么冒险。你完全能想象：你有多个研究组织，它们都有代码。一旦有代码，你就能想象调代码。百分之百有这个"meta layer"。
你看到我那个关于比赛想法的推文了吗？我的比赛想法是让人们写不同的 program.md，对吧？在同一硬件上，哪里能得到最多提升？哦，我懂了。然后你可以把所有这些数据交给模型，说写一个更好的 program.md。是的，是的。肯定会得到更好的。肯定会的，对吧？你百分之百去看看提升是从哪里来的，然后能不能改 program.md 让更多这种类型的事情被做出来，或者那些不 work 的。这是 meta 优化。是的，你百分之百能想象这么做。
Sarah Guo所以我觉得这是一个很棒的想法。但我觉得你是一步一步来的——一个过程、第二个过程、再下一个过程。
Andrej Karpathy这些都是洋葱的层。LLM 那一层已经理所当然了。Agent 那一层已经理所当然了。现在 claw 实体也理所当然了。现在你可以有多个。现在你可以给它们指令。现在你可以对指令做优化。这有点太多了，但我的意思是，这就是为什么会出现"精神病"——因为是无尽的，一切都是技能问题。
这就是为什么我觉得……对啊，这就回来了，这就是为什么这么 insane。
8 · Jaggedness：模型像天才博士 × 10 岁小孩
Sarah Guo好。如果我们只是想诊断当下、什么是当下最相关的技能——你认为这意味着这是我们应该努力达成的 loop，去在不同领域让它 work？比如：移除、创建指标、或者让 agent 能持续工作的能力。我们还有 performance engineering 吗？
Andrej Karpathy你的意思是——
Sarah Guo有 perf 吗？还有性能工程吗？
Andrej Karpathy我的意思是，所以我会给"LM 精神病"加几个 caveat。
第一，它极其适合那些有客观指标、易于评估的事。比如写 kernel 让 CUDA 更高效——为模型 XATARP 的不同部分写代码完美适配。因为你有低效的代码，然后你想要高效代码、行为完全一样、但更快，perfect fit。所以很多这类事都完美适配 AutoResearch，但很多事不会。所以就是说，如果不能评估，你就不能 AutoResearch 它。这是 caveat 一。
然后 caveat 二，我得说，我们是在谈下一步，能看见下一步是什么，但根本上整个东西还是——它还是有点要撑爆了，到处是裂缝，它不能完全 work。如果你想走得太前，整体其实 net 没用，如果这说得通的话。因为这些模型——它们改进很多了，但它们还是有点粗糙，如果我能这么说的话。我同时感觉自己是在跟一个极其聪明的、整个一生都在做系统编程的 PhD 学生说话，又是一个 10 岁小孩。这太诡异了，因为人——我感觉人的耦合度高很多，对吧，你……人类一切耦合度都高很多。是的，你不会遇到那种组合。这种 jaggedness 真的很奇怪，人的这种 jaggedness 少得多——虽然他们确实有一些。但 agent 的 jaggedness 多得多——有时候我问一个功能，它带回来的东西完全错。然后我们进入完全错的 loop。我还是经常被 agent 烦死，因为你感觉到它的力量，但它们还是——它还是偶尔不 work，仍然让我感到意外。当我感觉 agent 在一个明显应该识别的明显问题上浪费了大量算力时，我会非常不爽。
Sarah Guo是的。我想这些更大的问题之一——如果让我猜——根本上这些模型是通过强化学习训练的。所以它们其实就在挣扎我们刚才说的同一件事——实验室可以在任何有 reward、可验证的事情上改进模型。
所以你程序写得对不对、单元测试过没过，yes or no。但它们挣扎的是比如：我脑子里有什么 nuance、我有什么意图、什么时候该问澄清问题，等等。是的，只是——任何感觉"软"的东西就更差。所以你要么在铁轨上、是超级智能电路的一部分，要么不在铁轨上、在可验证领域之外。突然一切都开始 meander。也许另一种说法是：到现在为止，你去最 SOTA 的模型 ChatGPT，你让它"讲个笑话"。你知道你会得到什么笑话吗？
9 · Verifiable vs Soft：RL 的舒适区与"原子笑话"
Andrej Karpathy比如，是的，只是——任何感觉更"软"的东西就更差。所以你要么在铁轨上、是超级智能电路的一部分，要么不在铁轨上、在可验证领域之外。突然一切都开始 meander。
也许另一种说法是：到现在为止，你去最 SOTA 的模型 ChatGPT，你让它"讲个笑话"。你知道你会得到什么笑话吗？这就是那个笑话。那个笑话？我没法告诉你它的标准形式，但我的感觉是 ChatGPT 就只有三个笑话。是的，是的。所以那个让所有校友笑最多的笑话是——为什么科学家不信任原子？因为它们 make everything up。它们 make everything up。所以这就是……那怎么来的？这个笑话你三五年前就会得到，今天你还是得到这个。所以即使模型已经改进了很多——如果你给它一个 agent 任务，它可以为你跑几个小时、移山填海——然后你要个笑话，它就给你一个蠢笑话。五年前就有的烂笑话。
这是因为它是在 RL 之外的。它在强化学习之外。它在"被改进的事情"之外。这就是 jaggedness 的一部分——你不应该期望模型越变越好也有更好的笑话，或者更多样吗？还是说它没被优化，就卡那儿了？
Sarah Guo你认为这意味着我们没看到广义智能上的泛化——那种"你更擅长代码就应该一切更好"的泛化？
Andrej Karpathy是的，我觉得这里有一些解耦——有些东西可验证、有些不可验证。有些东西被实验室任意优化，取决于喂进去的数据；有些不是。是的。但我的意思是，有些研究组的假设前提是：如果你在代码生成或者这些可验证领域更强，你应该一切更强。笑话的情况说明这没在我们所有人身上发生。我觉得这没发生。是的，我觉得没发生。我可能看到了一点点，但不是令人满意的程度。
Sarah Guo是的，那种 jaggedness 在人身上也存在。
Andrej Karpathy你可以数学极好，但讲一个非常烂的笑话。是的，没错。但它仍然意味着我们没得到——故事是：随着模型越来越好，我们在社会的所有领域免费获得了大量智能和能力。但根本不是这样发生。这里有些盲区，有些东西没被优化。这一切都堆在神经网络不透明的模型里。对吧，所以你要么在它训练的铁轨上、一切光速前进，要么不在。所以这就是 jaggedness。所以所以——这就是为什么我觉得，即使进展是显然的、应该发生的——你不能完全放手去做，因为它不完全 work 或者是个技能问题。我们还没想清楚怎么用它。所以很难说。
Sarah Guo我可以问一个有点亵渎的问题吗——如果这种 jaggedness 持续存在，而且至少被封装在一个单块的接口里——但你懂的，单个模型——这说得通吗？还是说应该被解绑，把那些能针对不同智能领域做优化或改进的东西解出来？比如把模型解绑成多个专家，分别覆盖不同领域，等等？
Andrej Karpathy更直接一点。是的。不要只是 MoE——我们看不到它——因为作为用户从外面看可能很困惑：为什么它这个好、那个不好？是的，我目前的印象是：实验室想要一个单一、单文化的模型，在所有这些不同领域都任意智能。他们只是往参数里塞。我确实认为我们应该期待智能里有更多的 speciation。
10 · Speciation：智能会不会像动物大脑一样分化
Andrej Karpathy你知道，动物界的大脑极其多样化。有很多不同的生态位。有些动物视觉皮层过度发达、或者其他部分过度发达。我觉得我们应该能看到更多 speciation。你不需要那种什么都懂的 oracle。你让它分化。然后你把它放在一个具体任务上。我们应该看到一些——因为你应该能有小得多的模型，仍然有认知核心。
它们仍然 competent，但然后专精化。然后它们能在你真正关心的具体任务上、延迟或吞吐方面更高效。比如你在 Lean 上做数学，我看已经有些发布真的很针对那个领域。所以可能有一些这样的例子——在那种解绑里有意义。
Sarah Guo所以会有几个这样的例子——那种解绑有意义。
我有一个问题是：可用算力的容量约束会不会推动更多这种分化，因为效率实际上更重要了？对吧？
如果你——先把融资放一边——融资其实在这一切里都涉及——如果你做任何事都能拿到完整算力——那就保留一个单一模型，对吧。但如果你真的感受到压力——我没法给每个用例服务一个超大模型——你觉得这会导致任何 speciation 吗？这个问题你理解吗？
Andrej Karpathy这个问题说得通。
我猜我在挣扎的是——我觉得到现在我们还没看到太多 speciation，对吧？我们看到的是 monoculture 的模型。所以……也有明显的压力：搞个好的代码模型，再 merge 回主分支。即使模型已经有压力了。我猜也许我感觉有非常短期的供给紧张。也许那现在导致更多 speciation。根本上，实验室在服务一个模型，它们其实不知道最终用户会问什么。所以也许这部分原因是——它们必须对所有可能被问到的事 multi-task。但如果你到企业里去、也许针对你关心的特定问题合作，那可能在那里看到 speciation。或者会有一些非常高价值的、更 niche 的应用。但我觉得现在它们是在追所有可得的。
我不认为操控这些大脑的科学已经完全成熟，部分原因是——
Sarah Guo你指的"操控"是什么意思？
Andrej Karpathy就是比如微调但不丢失能力。我们没有这些原语能让我们用 context window 之外的方式真正操作智能。
Context window 是直接 work 的，便宜操作，等等。这正是我们获得一些定制化的方式。但我觉得——如果更深地调整模型，比如持续学习、微调某个领域、在某个领域变得更好——或者真的去碰权重而不是只碰 context window——这其实是一个还在发展的科学。所以碰权重比碰 context window 棘手得多，因为你根本上在改整个模型、可能改它的智能。所以也许这就是个没完全成熟的、能解释 speciation 的科学。而且还要足够便宜，speciation 才在给定的 context 下值得做。
11 · AutoResearch 的协作接口：trust vs untrusted compute
Sarah Guo我可以问你一个关于你描述的 AutoResearch 在"开放地面"上的扩展吗？
你说的，嗯，我们有这个东西。我们需要在它周围有更多协作表面，让人们贡献到整个研究里。可以讲讲吗？
Andrej Karpathy是的，所以我们谈了我们的研究有单个 thread——我要去在 loop 里试东西。但根本上把它并行化才是有意思的部分。我猜我在试着玩玩一些想法，但我没有什么像……我不知道……我还没特别满意的东西，但这是我在不搞 claw 的时候在内部做的。
所以我觉得其中一个问题是：如果你有一堆并行的节点，那很容易就让多个 AutoResearcher 在一个共同系统上对话，类似那样。我更感兴趣的是怎么能在互联网上搞一个 untrusted pool of workers。比如在 AutoResearch 里，你就是在试图找到把模型训练到很低 validation loss 的代码片段。
如果任何人给你一个候选 commit，很容易验证这个 commit 是对的、是好的。像是——有人可能从网上声称："这段代码会优化得更好，给你更好的性能"。你可以直接检查，很容易。但也许很多工作要投入到那个检查上。但根本上他们可以撒谎等等。所以你基本上面对一个类似的问题。其实它有点像——我设计的那些容纳 untrusted pool of workers 的东西其实更像一点 blockchain——因为不是 blocks，而是 commits，这些 commit 可以相互构建，它们包含代码的改动，随着你在改进。
Sarah Guo那怎么防止坏 commit 进来？你描述的机制是什么？
Andrej Karpathy证明工作量基本上就是做大量实验去找那些 work 的 commit。这很难。然后奖励只是现在在排行榜上。目前没有任何金钱奖励。但我不想把这个类比推太远——它根本上就有这种问题：你想要 search 进来，但验证一个候选方案确实很好是非常便宜的，因为你只训练一次——也许有人试了 10000 个想法，但你只要检查他们产出的那个东西确实 work 就行，因为 99000 个不 work。
12 · 研究组织 = 一组 Markdown 文件
Andrej Karpathy所以基本的长话短说就是：你要搞出一个系统——untrusted pool of workers 能跟 trusted pool of workers 协作，那些 trusted 的去做验证。整个东西是异步的、能 work，等等。从安全角度也是安全的——如果任何人都能给你任意代码，而你打算跑它，这很 sketchy、很 dodgy。但根本上应该完全可能。所以你熟悉像 SETI@home 和 Folding@home 这些项目吗？所有这些问题都有类似的设置。Folding@home 里，你在折叠一个蛋白质，找到能量低的构型很难。
但如果有个人找到一个他们认为能量低的构型，那正好——你直接用它，你可以轻易验证它。所以很多事情都有这种"想出来很特定、但验证很便宜"的属性。所以那些情况下，Folding@home 或 SETI@home 或 AutoResearch@home 都是好的 fit。
Sarah Guo所以长话短说——互联网上一群 agent 可以协作改进 LLM，甚至有可能——谁知道呢——跑得比前沿实验室还快？
Andrej Karpathy是的。这很像那个软件供给侧的 Jevons 悖论——因为更多算力 = 更多 AI 产出 = 反而更多经济价值回流到算力……也许吧。我不知道。
前沿实验室有大量 trusted compute，但地球大得多，有大量 untrusted compute。但如果你 put systems in place——系统就位——来处理这个问题，那也许互联网上这群"swarm"可以想出更好的解。人们有点贡献 cycles 到他们关心的事情上。所以对不起，最后一个想法是很多公司之类可以有他们自己关心的事情。你可以——如果你有算力——你可以贡献到不同的 AutoResearch track。
比如你关心某种癌症之类的，你不必只是给机构捐钱。你实际上可以购买算力，然后加入那个项目的 AutoResearch swarm。所以如果一切都重新打包成 AutoResearcher，那算力就变成你贡献到 pool 的东西。
Sarah Guo是的，这很 inspiring。也很有意思。我不知道这能走多远，但有意思的是至少一部分人——你懂的，硅谷这里或者中国零售店排队的人——重新发现"拥有个人算力"是有意思的，对吧？所以也许他们真的很有动力给他们的 claw 这样做，然后能贡献到 AutoResearch。几乎像——钱是大家都在乎的东西，但 flop 是未来大家真正在乎的东西？会不会有一个几乎反转，什么是你在乎的东西？比如现在，即使有钱也算力很难拿到。是的。所以其实看起来 flop 像 dominant。
Andrej Karpathy在某种意义上，是的。所以也许这是有点像——你控制多少 flops 而不是你控制多少财富？我其实不认为这是真的，但想想还挺有意思的。
13 · Job Market：BLS 数据 · 数字空间先 unhobbling
Sarah Guo你最近发布的是一点 jobs data 分析，对吧？那个——尽管你只是在可视化一些公开数据，但我的触感和那啥——你好奇什么？
Andrej Karpathy是的，我猜我好奇的是——人人都在真的想 AI 对 job market 的影响和它会是什么样。所以我就是想看看——job market 长什么样？不同角色在哪里？不同职业有多少人？我就是真的想逐个 case 看，自己想想：随着这些 AI 和它们可能怎么演进，它们是人们用的工具吗？它们会替代这些职业的工具吗？现在的职业在哪里、它们怎么变？它们会大幅增长还是调整？或者什么可能是新职业？所以基本上这只是一种燃料我自己的思路链，关于行业。
Sarah Guo你是怎么决定用什么数据、看哪些职业的？
Andrej Karpathy是的，所以 jobs data 基本就是劳工统计局的数据。
他们其实对每个职业有一个 percent outlook，预期未来差不多十年增长多少。是的，我觉得是十年，但那是 2024 年做的。我们需要大量医疗工作者。是的，所以他们已经做了那些预测。我其实 100% 不确定他们预测的方法论是什么。我猜我想给事情加颜色——如果人们想的是现在主要被开发的是这种更"数字的"AI——几乎是这些"鬼魂"或"精灵实体"，能在数字世界里交互、操作大量数字信息。它们目前还没有物理的具身或存在。物理的事情可能会慢一点，因为你在操作原子。所以翻转 bit、复制粘贴数字信息，比加速物质快一百万倍，对吧？
所以从能量上看，我觉得我们会看到数字空间里有大量活动、大量重写、大量活动、煮汤。我觉得我们会看到——在数字空间里以光速——对比物理世界里某种程度上会发生什么——会是外推。所以我觉得目前有一种 overhang——可能有大量 unhobbling——大量以前由计算机和人做的数字信息处理。然后现在 AI 作为第三种操作数字信息的形式，那些领域会有大量重构。但物理世界实际上会落后一段时间。所以我觉得对我真正迷人的是：这就是为什么我高亮这些职业——从根本上操作数字信息的工作——这些是你能从家做的工作，诸如此类。因为我觉得那些事情会变。
这不是说那些工作会变少或变多——那是关于需求弹性和很多其他因素——但因为这些新工具，那些职业里事情会变。因为这是对人这个超级有机体的神经系统的升级，如果你想那样想的话。
Sarah Guo看了这些数据，你对正在面对 job market 的人、或现在想学什么、培养什么技能的人，有什么观察或建议吗？
Andrej Karpathy我的意思是，我们都可以去做比如——我很感恩我现在的工作需要我出去见人，更物理。
Sarah Guo你也能在家做吧？
Andrej Karpathy我能。大部分我能，但有些关系部分很难。是的，我觉得真的很难说，因为同样地，job market 极其多样。答案可能不一样，但在很大程度上，这些工具极其新、极其强大。所以光是想跟上它就是第一件事。
14 · Jevons 悖论 · 软件需求反而上升
Andrej Karpathy是的，因为我觉得很多人就是 dismiss 它，或者……或者他们害怕。这完全可以理解。当然。我觉得从根本上它当下是一个赋能工具。这些工作是任务的集合。其中一些任务可以快得多。所以人们应该把它想成它当下主要是一个工具。我觉得它的长期特性是不确定的。真的很难预测。说实话。我不是专业做这个的。我觉得这是经济学家该好好做的事。
Sarah Guo不过你是工程师。有一件事我觉得有意思——对工程岗位的需求在持续增加。我说不清这是不是临时现象。我还不确定你怎么看？
Andrej Karpathy是的，那就是需求密度。软件以前稀缺，对吧？所以我们对软件没有更多需求的原因只是稀缺——太贵了。是的，太贵了。
所以如果门槛降下来，那就会有 Jevons 悖论——软件需求其实上升了。它更便宜、有更多……更 powerful。这其中的经典例子总是 ATM 和银行柜员。因为很多人害怕 ATM 和计算机会替代柜员。但实际发生的是它们让银行网点的运营成本便宜很多，所以有更多网点、有更多柜员。这是大家引用的经典例子。
但根本上就是 Jevons 悖论：东西变便宜了，所以对它有大量被解锁的需求。所以我确实觉得这可能是这样——我对软件工程谨慎乐观。看起来确实软件需求会极其大。它只是变便宜了。所以我觉得相当一段时间内，非常难预测。但看起来至少本地来说，会有更多软件需求。因为软件很 amazing。它就是——你懂的——数字信息处理。你不必被迫用给你的那些任意工具。有各种不完美。你不必订阅已存在的。代码现在是 ephemeral 的、能变、能改。所以我觉得会有很多数字空间的活动去重新连接一切。在某种意义上，这会产生很多需求。
长期来看，是的，显然——即使是 AutoResearch，比如 OpenAI 或 Anthropic 或其他实验室，它们雇了一千多研究员，对吧？这些研究员基本上像被美化的 Auto，他们就是 active 在自动化自己。这是它们都在做的事。我觉得我去 OpenAI 转了一圈，问："你们意识到如果我们成功，我们都失业了吗？我们就是在为 Sam 之类的构建自动化。"我不知道董事会还是不是这样——但他们就是在处理这种自动化，为董事会还是 CEO 干这事儿。我们都失业了，可能还在边缘贡献。所以这是 nerving。可以问你 Noam 的问题吗？
15 · Noam's Question：为什么不去 frontier lab
Sarah Guo你可以这样做啊，对吧？在一所前沿实验室里，用很多 compute scale 和一群同事做 AutoResearch。为啥不去？
Andrej Karpathy嗯，我去过一段时间，对吧？而且我 re-enter 了。所以在某种程度上我同意。我觉得这个问题有很多切法。有点 loaded。
我要说我对人在前沿实验室之外能做什么、能有什么影响感觉很好。明显。不是在 industry 里，而是更"ecosystem level"的角色。比如你的角色就是 ecosystem level 的。我现在的角色也是更 ecosystem level 的。我对人们在这些角色里能产生的影响感觉很好。相反，我觉得我认为有很大问题——基本上把太多自己 align 到前沿实验室。根本上，我的意思是——你在这些前沿实验室有大量财务激励。按你自己承认的，AI 真的会以非常戏剧性的方式改变人类和社会。而你基本上就是在构建这项技术、从它获益、通过财务方式跟它非常 allied。这就是 OpenAI 当初成立的悖论。这是我们试图解决的问题。它仍然没解决。这悖论还没完全解决。所以这是第一点。
你不是一个完全自由的 agent，你不能真的以一种完全自治的方式参与那场对话。如果你在前沿实验室里面，有些事你就是不能说。反过来，组织希望你说什么。有些事——它们不会扭你的胳膊，但你能感受到你应该说什么的压力。因为显然——不然就是很尴尬的对话、奇怪的侧目、你在干啥？所以你不能真的是独立 agent。我觉得在某种意义上我感觉更跟 humanity aligned，因为我几乎不受到那些压力，对吧？我可以说任何我想说的。在前沿实验室里你当然也能产生影响。所以但有很多研究者——也许你是其中一个——也许你的想法真的很好，等等。也许有很多决策要做，你想在那些对话出现时身在房间里。
16 · Frontier Lab 悖论：财务激励 + 言论压力
Andrej Karpathy不然就是很尴尬的对话、奇怪的侧目、"你在干啥"？所以你不能真的做一个独立 agent。我觉得在某种意义上我感觉更跟 humanity aligned，因为我几乎不受到那些压力，对吧？我可以说任何我想说的。
是的，我会说在 frontier labs，你当然也能产生影响。所以但有很多研究者——也许你是其中一个——也许你的想法真的很好，等等。也许有很多决策要做，你想在那些对话出现时身在房间里。我确实觉得现在整体 stakes 还相对低，所以一切都很 nice。但根本上，日复一日，当 stakes 真的很高时——等等——如果你是某个组织的雇员，我其实不知道你能对这个组织做什么有多少 sway。根本上，日复一日——你不是真的在 charge。你在房间里贡献想法，但你不真的在 charge 那个你所属的实体。所以这些是一些 misalignment 的来源，我觉得在某种程度上。
17 · 回 frontier 还是留在外面：进进出出的策略
Andrej Karpathy是的，所以你说它——你不是真的在 charge。你在房间里贡献想法，但你不真的在 charge 那个你所属的实体。所以这些是一些 misalignment 的来源，我觉得在某种程度上。
我要说在一个方面，我确实很同意那种情绪——我就是感觉，如果实验室是不透明的（不论好坏），很多工作在那里。它们有点像在 capability 和可能性的边缘。它们在 work on 接下来会发生什么。我觉得如果你在那个 frontier lab 外面，你的判断根本上会开始 drift，因为你不是"接下来会发生什么"的一部分。所以我感觉我的判断也会不可避免地开始 drift。我也不会真的理解这些系统在实际层面怎么 work。那是个 opaque 系统。我不会很好地理解它会怎么发展等等。所以我确实觉得在那种意义上，我同意——有些东西让我紧张。
我觉得基本上值得保持跟实际发生的事情的接触、真的在 frontier lab 里。如果一些 frontier labs 想让我去为他们工作一段时间，做一些真正好的工作，然后也许再进进出出。
Sarah Guo哥们儿在找工作，这太 exciting 了。
Andrej Karpathy所以我觉得这也许是个不错的设置，因为我感觉有点——也许这是真的跟实际发生的事情相连、但也不觉得你完全被那些实体控制的方式。所以老实说，在我心里，Noam 在 OAI 也许能做出极其好的工作，但我同样觉得他最有影响力的工作很可能在 OpenAI 之外。
Sarah GuoNoam，这是去做独立研究员的召唤。
Andrej Karpathy荣誉研究。是的，外面有很多事可做。我觉得最终我觉得理想的解决方案也许是——是的，进进出出，或者——是的，我觉得根本上你在两个地方都能产生非常 amazing 的影响。所以非常复杂，我不知道。这是个有点 loaded 的问题，但我的意思是，我加入了 frontier lab 然后我出去了。也许未来我还想再加入。我觉得这就是我看待它的方式。
18 · Open vs Closed：Linux 类比 + 18→8 个月的收敛
Sarah Guo一个相关的问题是，世界或 AI 生态对 frontier 有什么 visibility——开源跟 frontier 多近、这多可持续。我觉得这相当 surprising，从只有一些中国模型和全球模型那一系列事件。我觉得人们会在近期继续发布——比行业很大预期的、从能力视角更接近 frontier 的。我不知道你是否惊讶，但你是个长期的 open source 贡献者，你这里怎么看？
Andrej Karpathy是的，所以大致上说，基本上闭源模型在前面，但人们在监测开源模型落后的月数。从一开始什么都没有，到 18 个月。是的，它们一直在收敛，对吧。所以也许现在落后 8 个月，8 个月那种程度。是的，我是开源的 huge fan，明显。
所以比如在操作系统上，你有闭源的 Windows、Mac OS——这些是大软件项目，有点像 LLM 会变成什么样。还有 Linux，但 Linux 是很容易的。Linux 其实是极其成功的项目。它跑在绝大多数电脑上。上次我查，是 60% 那种？我们就在 Linux 上。这因为业界需要一个共同的开放平台，让每个人都觉得用起来比较安全。我会说业界一直感觉到对这种东西存在的需求。我觉得现在也一样。所以这就是为什么企业真的想要——对这种东西存在有需求。最大不同就是一切都是 capital。那里有很多钱。所以我觉得那就是事情有点像那样散架的地方，让这种意义上竞争更难。
我确实觉得当前模型非常好。我觉得真正有意思的另一件事是：对于绝大多数消费级用例和这种东西，即使是目前开源模型其实已经相当不错了。我觉得如果往前走几年，看起来大量简单的用例会被覆盖得好，甚至能在本地跑。
但总会有对 frontier 智能的需求。那其实可以是饼的极其大的一块。但 frontier 智能的需求可能是 Nobel Prize 级别的工作，或者像"我们把 Linux 从 C 移到 Rust"那种。会是更大的项目，像那种 scoping。会也许更多——也许那就是很多 frontier 闭源智能要交互的地方。开源会吃掉很多更基础的用例。大概某个点，今天的 frontier——今年晚些时候——今天 frontier 的东西，从我闭源实验室正在用的，可能就是开源的。那会做很多工作。所以我期待这种动态会持续。会有 frontier labs 有闭源 AI 像 oracle。然后开源会落后几个月。我期待这继续。我觉得这是相当好的设置。
Sarah Guo就像 Jevons 悖论软件供给侧——更多算力意味着更多 AI 产出，反而更多经济价值回流到算力——也许是这样。我不知道。
Andrej Karpathy因为我有点不确定——我不真的认为它在结构上——我觉得有些 systemic risk 跟有闭源智能联系在一起。这就是它。我觉得过去 centralization 在我看来记录很差。
Sarah Guo你是说像政治或经济系统那种？
Andrej Karpathy是的，没错。我觉得有挺多……这是一个东欧人——挺糟糕的家伙。所以我希望有一个东西，也许不在 capability 的边缘，因为它新、未被探索等等。但我希望有一个东西在后面，是整个业界都能用的共同工作空间。是的，对我来说这对业界是个相当不错的 power balance。真的。
我也觉得就是有很多问题要解决，对吧？如果你持续推进 frontier 智能，我们能做一些新的事。有很多人类的大问题。所以看起来这会继续是个非常 expensive 的游戏。所以我想 root for 做这个的实验室，因为有些问题没有继续以非常 expensive 的方式推进模型是解不了的。
但你看，今天 frontier 的东西如果开源了，那就是很多 capability，对吧？所以我觉得那个力量或 democratization 看起来非常有用且健康。所以我觉得基本上——偶然地——我们其实在一个 ok 的位置。最优吗？是的，偶然的。我们在某种意义上处在好位置。
Sarah Guo某种程度上，这种动态持续得越久，生态所处的位置就越健康，对吧？因为你 curve 下面积越来越大。
Andrej Karpathy我也会说即使在闭源那边，我几乎感觉最近是更 centralizing——因为我觉得很多 front runner 不一定是 top tier。所以那种意义上，我觉得不超理想。我希望有更多。或来自两轮——因为是的，我默认非常怀疑……
Sarah Guo机器学习里的 ensemble 总是跑赢单个模型。
Andrej Karpathy我希望有更多人在房间里。我希望机器学习里的 ensemble——总是 ensemble 跑赢单个模型。所以我希望有人的 ensemble——所有最难的问题的思考。而且我希望有人在房间里，都 well informed、做所有决定。所以我不想它是两三人的 closed door。我觉得这不是好未来。我几乎希望有更多实验室，long-thru-short。我确实觉得开源有地方玩。我希望它继续存在。它现在稍微落后，那其实反而是好事。
19 · 机器人：atoms 比 bits 难一百万倍
Sarah Guo你在汽车上做过广义机器人自主的前体工作，对吧？过去几个月机器人公司发生了很多事——真正令人印象深刻的泛化加速、环境、任务、长 horizon 任务增加、大量资金进入——它要发生了吗？在你看来最近有什么变化吗？
Andrej Karpathy我的看法被自动驾驶的所见所闻影响。我觉得自动驾驶是第一个机器人应用。所以可能我那时——10 年前——看到的是大量 startup。我感觉它们大多数长期都没撑下来。我看到的是需要大量资本支出、很多时间。所以我觉得——我觉得机器人因为它极难、极乱、需要大量资本投入、很多 conviction——它就是个大问题。我觉得原子真的很难。所以我感觉它们会落后于数字空间里会发生的事。在数字空间会有大量 unhobbling——以前不怎么高效的事变得高效很多，因为 bit 容易得多。
所以我觉得就目前会发生什么、活动在哪里——我感觉数字空间会变化巨大。然后物理空间会落后。我发现很有意思的是它们之间的接口。因为我觉得在这种——如果我们有更多 agent 代表人类行动，更多 agent 互相交谈、做任务、参与 agent 经济——你总会用完只在数字空间能做的事。某个时候你必须去 universe 那里问问题。你必须跑实验看 universe 告诉你什么然后学回来。所以我们当前有大量数字工作，因为有一个 overhang——关于"什么是已经是数字的"我们集体想过多少。所以我们只是没有足够的 thinking cycles 在人之间去思考所有已经是数字的、已经上传的信息。所以我们最终会开始用完那些"实际已经上传的"东西。所以你会在某个时候读完所有论文，处理它们，对试什么有想法。但我们只是——我不知道你能从那种完全封闭的智能得到多少——那是建立在它身上的信息。
所以我觉得接下来会是：先有大量 unhobbling，我觉得那里有大量工作。然后真的会走向数字和物理之间的接口。所以那是感知世界的传感器、对世界做事的执行器。我觉得很多有意思的公司会从那种接口里出来——能不能在某种意义上给超级智能喂数据？能不能真的取出数据、操纵物理世界按它的 bidding——如果你想 anthropomorphize 这一切的话，对吧？
然后物理世界——我几乎觉得 TAM 等等，就工作量和一切来说——是巨大的，可能甚至比数字空间能发生的还大。所以我其实觉得这是更大的机会。但我感觉这是大量工作——在我心里，原子就是难一百万倍。
所以会落后，但也是更大市场。所以我觉得机会大概是跟着那种轨迹走。所以现在数字是我的主要兴趣，然后接口会是之后，然后也许一些物理——它们的时间会来，来了会巨大。
Sarah Guo这也是有意思的框架，因为某些事——不是我正在做的——但有些事即使在原子世界里也容易很多，对吧？比如你想想对物理世界的读和写——读传感器、摄像头——有大量现有硬件，你能想象丰富 agent 能力或者捕获大量新数据，如果你只是 clever 的话——你不必投很多就能得到有价值的东西。
Andrej Karpathy是的，像这种例子——我刚看到的——比如我一个朋友 Liam，他在 run Periodic 做 CEO——我上周去看他们了。所以就是脑子里这个。比如他们想做材料的 AutoResearch。所以在那个 case，传感到智能的接口其实是相当贵的实验设备。生物也一样。我觉得很多人对 engineering biology 很感兴趣，传感器不只是视频摄像头，如果这说得通的话。
然后另一件我看到的，比如有一些公司在尝试基本上付钱给人们训练数据，比如喂给 Borg 的那种。
20 · 数字-物理接口：传感器、执行器、信息市场
Andrej Karpathy所以这些都算传感器的例子，某种意义上。所以它们有各种形状，如果这说得通的话。是的，所以我期待那个点——我可以要一个物理世界的任务，我能放个价格上去，告诉 agent：你自己想办法去做。去拿数据。
我其实有点惊讶我们没足够的信息市场。比如 polymarket 或其他 betting markets 或者甚至股票等等——如果它们有这么多自主活动、活动量在上升——为什么不比如，如果伊朗的事正在发生，为什么不能有个过程：在德黑兰某处拍一张照片或视频值 10 块。应该有人能支付那个，对吧？那是喂智能的一个例子。不会有真人去看它。会有 agent 试着猜 betting games 和 stock markets。所以我感觉 agentic web 还相当新，没机制做这个，但这是我猜会发生的例子。
有本可能挺 inspiring 的书叫《Daemon》，你大概读过。在 Daemon 里，智能最终有点像个 puppet master——某种程度上在操控人类。所以人类某种程度上是它的执行器，但人类也是它的传感器。所以我觉得总体上，社会会以某种方式重塑——去服务那种——那种最终集体 across 行业会发生的事。是的，会有更多自动化，它有特定需求，人类会服务那个机器的需求——不一定是互相服务。
Sarah Guo但我们一直在讨论一个具体点——缺训练数据片段。我们需要像 AutoResearch 这样的东西，对吧？我们需要训练 cycle 或 SFTPs 更机械化。是哪个部分？
Andrej Karpathy为了做收集——为了让人类从 loop 里拿掉，问一个任务："用新数据提高我的模型质量"，对吧？
Sarah Guo是的。这么说说得通吗？
Andrej Karpathy像我们——如果模型不能自己跑训练 run，那你做这件事的能力就是一个 closed-loop 任务。是的。用买价数据更 challenged。是的，100%。是的。但现在是。事实是 LLM 训练其实非常容易——非常符合这个范式。所以你其实会期待——是的，clean metric。是的，LLM 训练非常 fit 这个范式。真的很容易。所有代码的优化等等，它跑更快。然后你也有可以优化的 metric。我确实觉得如果你有一个自主 loop 在那些 metric 上，会有大量 good harding——系统会过拟合那些 metric。
所以但你可以用系统设计更多 metric，你就有很好的覆盖。所以很难说，但在某种意义上是相当好的 fit。
21 · micro-GPT：把 LLM 训练压到 200 行 Python
Sarah Guo我想在你走之前聊一个你做的小副项目。说说 micro-GPT。
Andrej Karpathy哦是的。好，micro-GPT。我有这个运行了可能一二十年的痴迷，就是简化、煮到极致——基本上把 LLM 煮到它们的赤裸本质。我沿着这条线有过很多项目。nanoGPT、makemore、microGP、micrograd 等等。我觉得 micro-GPT 现在是我尝试煮到本质的 state of the art。因为事情是训练神经网络、特别是 LLM，是大量代码。但所有那些代码其实是为了效率产生的复杂性。你需要它跑得快。如果你不需要它跑得快、只关心算法，那算法就是 200 行 Python。很容易读。这还包括注释和一切——因为你有数据集，也就是文本，你需要一个神经网络架构，正向传播大概 50 行。然后你要做反向传播算梯度。一个 autograd 引擎算梯度大概 100 行。然后你需要一个优化器，比如 Adam，是个 SOTA 优化器，就 10 行。把所有东西放到训练 loop 里就是 200 行。
有意思的是——如果一年多前我想出 micro-GPT，我会有冲动去解释给大家听。我有一个视频一步步过它之类的。我试着做了下那个视频。试着做个小指南等等。我意识到这其实没加太多——因为它已经简单到 200 行，任何人都能让 agent 用各种方式解释它。agent——我不再是在解释给人听。我在解释给 agent 听。如果你解释给 agent 听，那 agent 可以是 router——它们能用无限耐心、用你的语言、刚好在你的能力上、针对性地解释给你。
如果我没理解这个特定函数，我可以问 agent 用三种不同的方式给我解释。这从你那里得不到。所以我觉得——以前教育是什么？指南、讲座、这种东西。但现在更多是我在解释给 agent 听，也许我搞出一些 skills，比如——
22 · 教育范式重组：从 HTML 文档到 Markdown for agents
Andrej Karpathy基本 skill 就是一种指令 agent 怎么"教"这个东西的方式。所以也许我可以有一个 micro-GPT 的 skill——我想象中 agent 应该带你走的进程——如果你有兴趣理解代码库的话。它就像给 model 的 hints："哦，先从这个开始，然后那个。"所以我可以把 curriculum 写成 skill。所以我感觉——是的——我觉得会有更少的"直接给人解释"，更多就是"agent 懂了没"。如果 agent 懂了，它们会做解释。我们还没完全到那里，因为我觉得我大概还能比 agent 解释得好一点，但我还是觉得模型改进得太快了，我觉得这是一场输掉的战斗。
所以我觉得教育会被这相当大幅地 reshuffle。这是"互相教东西"的某种终结。比如如果我有一个代码库之类的，以前你有 documentation 给会用你库的人，但现在你就不该做那个了。你应该有的——不是给人类的 HTML 文档，而是给 agent 的 markdown 文档。因为如果 agent 懂了，它们可以解释所有不同部分。所以这是通过 agent 重定向。
所以我觉得我们会看到更多这样 playing out。好吧，我们看看伟大的教师们知不知道——像发展那种怎么给 agent 解释东西不同的直觉。最后比如 micro-GPT——我问过，我试着让 agent 写 micro-GPT。我跟它说：试着煮到最简单的事，试着煮到我的神经网络流到最简单——它做不到。micro-GPT 是我的——是我痴迷的终结。它就是 200 行（指他的核心洞见）。我想了它很久。我想就想了很久。这是解法。相信我，不能更简单了。这是我加的价值。其他所有 agent 都 get。它们就是想不出来，但完全 get，理解为什么这么做。
所以我的贡献就那么几个 bit，但在那之后发生的教育就不是我的领域了。所以也许教育在那些方式上变化——你必须 infuse 你强烈感觉的那几个 bit 到 curriculum 里、或者更好的解释方式之类。
Sarah Guoagent 做不到的事是你的工作了。agent 能做的，它们大概能比你做得更好或很快。我们感谢那"几个 bit"。谢谢你，Andre。