功夫、Cosmos 3 与开源世界模型

为什么这期值得关注

这期访谈录制于上海，时间点刚好是黄仁勋访华之后一个月。嘉宾刘洺堉（Ming-Yu Liu）是英伟达研究副总裁，也是 Cosmos Lab 的负责人——黄仁勋对他的评价是"GSD，getting shit done"。就在访谈前不久，他带领团队发布了 Cosmos 3 世界模型。在四个小时里，我们聊了一个研究者长达二十年的求索，也聊了英伟达这家基础设施公司如何塑造他的研究思路，还有不少关于黄仁勋的内部故事。

一条意外之路：从无线通讯到计算机视觉

刘洺堉在台北长大。高中时代最热门的科技是无线通讯，手机还是 Nokia 时代，于是他去了新竹的交通大学学通讯。大三那年，他好奇地看了看美国的研究所、博士班在做什么，然后对比自己当时的课题——"在算怎么样设计一个 protocol 可以让传输更加快"。他得出的结论是：那是一种提升，但不是一个零到一的变化；而在美国顶尖学府，"每个成功都是一个零到一的变化"。他决定出去闯一闯。跟父母宣布要去美国留学时，两个人都吓一跳："他们认识我二十几年，没有听过我讲说我要去美国留学这件事情。"

他原本想去美国学量子通讯。出发前，他在台湾的 Intel 实习了一年，在那里第一次接触 AI：一个做影像辨识的朋友，能从 pixel 里判断画面中是什么东西、是谁。他觉得这很神奇，从此对 computer vision 有了印象。申请到马里兰大学之后，他找到领域先锋 Rama Chellappa 做指导教授，正式转入 AI 与计算机视觉的研究。博士后期，AlexNet 出现，改变了整个世界。

十年前的 job talk：小说进，电影出

2016 年加入英伟达时，刘洺堉在 job talk 里讲了一个当时听起来很疯狂的判断："有一天最主要生成视频的运算将会是 deep learning，而不会是传统的 computer graphics。"更进一步，"我有一天可以把小说当成是 input 放进这个 deep learning，就会产出电影。"那时的英伟达还不是公认的 AI 公司，研究机构不到 100 人，主流路径是用传统图形管线做特效；他是最早认为深度学习会接管影像生成的一批人之一。

回顾这段经历，他的自评很坦率："我一直很有野心。只是我觉得我的执行力不够，我看的时间点不够。"真正的转折发生在 DALL-E 发布之后。他意识到算力与数据其实已经具备，是自己"野心不够大，不够勇敢，没有决心去把这东西做出来"。于是他做了两件事：写信给黄仁勋，要 GPU——"那时候我是要了 1000 个 A100 GPU"，在 Ampere 时代这已经是很大的数字；同时写信给 Getty Images 谈合作，说"你们这样未来才有比较保障"。这桩合作后来发展成 Picasso 项目：与 Getty Images、Shutterstock 共建 AI foundry——公司有数据但没有 AI 能力，英伟达负责建模型，交给他们去服务客户。从这一刻起，他的研究不再只产出论文，也开始产出帮客户成功的产品。

GauGAN：被 keynote 拿掉，反而成为最瞩目的 work

在 GAN 时代，刘洺堉做了几个自己引以为傲的工作，其中包括无监督的图像翻译（马变斑马、风景画变照片）。最有名的当属 GauGAN——"马良神笔"：涂几个颜色，每个颜色代表一种语义（山、水、天），AI 就画成漂亮的山水画。这个算法本名 SPADE，黄仁勋在公司内部 demo 上看得非常兴奋，但不喜欢这个名字——SPADE 不是用户语言。营销天才 Greg Estes 提议叫 GauGAN，致敬画家高更。

论文早已投中 CVPR，公司让团队先别放 arXiv，等黄仁勋在 GTC 2019 大会上官宣。结果那年要发布的产品太多，GauGAN 在 keynote 前一天晚上被拿下，只做了新闻稿和媒体 demo。戏剧性的是，"很多媒体朋友看到它之后反而是 GTC 里面最受瞩目的一个 work"。这个意外让团队更重视应用：他们做了在线 app 让大家试用，用户反馈让刘洺堉第一次意识到，自己的工作能影响的远不止读论文的研究员。

生成即理解：一个持续二十年的信念

刘洺堉的整个研究生涯都建立在一个信念上：生成是理解的一部分。判别式模型（比如 AlexNet）只能判断这是 A 还是 B，没有生成能力；生成式模型既能判别，又能重建信号、描述世界。"当你可以描述清楚的时候，大家可能认为你更加理解这个东西。"这背后是费曼的那句名言："If I cannot create, I cannot understand"——当你可以生成它的时候，你才能彻底理解它。他的导师 Rama Chellappa 很早就相信这一点，这也决定了刘洺堉此后二十年的方向。

但方向内部也经历过剧烈的范式切换。他的团队为 GAN 的 scalability 投入了大量实验——每个 GPU 放一个不同的 discriminator 与生成器对抗、更稳定的优化器——结论却一致：GAN 不 scalable。"不 scalable 的东西最后做不远"，2021 年起，团队转向 diffusion。每次切换都伴随着痛苦："suffering, little bit of greatness"，但方法越变越简单，也越接近问题的本质。他后来用"重剑无锋，大巧不工"形容现在的解法：把 data 和 infra 一步步做扎实。

研究员的三个顿悟时刻

回顾二十年，刘洺堉总结出三个影响最深远的时刻。第一个是对数学之美的祛魅：早期 computer vision 什么都不 work，他痴迷于漂亮的优化 bound——证明自己的答案离最优解只差 4% 还是 20%。但后来他明白，AI 本身就是拿来应用的，"我是越来越喜欢接近这个问题的本质，而不会被这些花巧的数学给迷惑"。

第二个是表达的价值。早期做 GAN 时，他"自己做一百分，但是我的解释只有十分，所以别人看到只有十分"。此后他花大量心思让普通人理解自己工作的重要性——这也解释了 GauGAN 为什么能被包装成一个公众产品。第三个是协作。N 个人点对点沟通是 N²，不可扩展；做大模型之后他明白，要做出巨大贡献，必须把事情讲得足够明确，让大家目标一致。主持人小俊把这条成长线概括为：做应用、销售你的工作、团队协作。

为什么英伟达要做研究？

一个很自然的疑问是：英伟达是卖基础设施的，前沿实验室用它的 GPU 做研究就够了，它为什么还要自己做应用级的研究？刘洺堉的回答很实际：基础设施做得好的定义，就是适合应用公司来用；如果你自己不做这些应用，你更不能理解他们需要什么。芯片和计算机架构的设计周期很长，不能等需求出现再改，必须靠研究提前理解"什么是最重要的问题"。反过来，这些研究成果被做成了开源模型，免费放出，这是给 community 的信号：NVIDIA 会一代一代（1 → 2 → 2.5 → 3）一直投资、一直进步。合作伙伴看到这个 commitment，才敢把自己的资源投到更重要的刀口上。

Sora 情结与 Cosmos 的诞生

刘洺堉与 Sora 有一段特殊的渊源。Tim Brooks 实习时就在他团队里想做 video 生成，但当时团队只有 GAN 技术，条件不成熟；Tim 毕业后去了 OpenAI，做出了 Sora。刘洺堉的第一反应是开心——"自己曾经一起共事过的人可以做出这么大的一个贡献"；但随之而来的是复盘："Sora 这个 work 出来之后……我是感到非常的开心，但我又觉得我的决心实在是不够。还是不够，还是不够。"他反复问自己，是哪个判断导致没有在正确的时机做出正确的事情。

行动随之而来：他与 Tri Dao、NeMo 团队的 Bryan Catanzaro、Jim Fan 等一群做生成式模型的学者联名写信给黄仁勋，认为必须加大投资。2024 年 3 月，Cosmos 立项——完全在 Sora 之后。黄仁勋召集大家开会，会上让大家各自想项目名字，最后他定名 Cosmos。刘洺堉对这个名字的理解是："我们目标就不是产生这个 content，不是为了要做创作，就是为了解物理世界的问题。"这也符合英伟达的定位：服务 developer market，不经营创作工具——那对英伟达来说太 to C 了。

"你就做到 Cosmos 97"

Cosmos 1 做完之后，团队问黄仁勋要不要继续往下做。他的回答是："你就做到 Cosmos 97。"刘洺堉现在做到 3 代，"所以还有 94 代可以往下走"。为什么不是 100？"他数字是随口说说的，但是他的决心是展现在他这个数字上面。"如果每半年一代，97 代还要四十几年——不过刘洺堉觉得，以现在 AI 的发展速度，也许不需要那么久。

这个数字背后是黄仁勋一贯的节奏感："他擅长打马拉松战。有些东西即使很重要，他会叫你 pace，pace your steps，就是让你不要急。"另一个他常挂在嘴边的话是："他每天都觉得公司只剩下 30 天的现金流，30 天后就要破产。然后现在还这么说。"2026 年的今天依然如此——这不是吓唬高管，而是要求自己每天做出对公司最正确的决定。

为什么是物理 AI？

同样是世界模型，OpenAI 的 Sora 面向创作者，NVIDIA 的 Cosmos 面向 Physical AI。刘洺堉列举的理由很朴素：每个人都会老化——"当人年纪大的时候就没法开车。但没法开车，整个人的生活品质就降低很多"，自动驾驶能让老人保有 mobility；很多工作劳力密集且危险，机器人可以接手；"家里面总是一堆琐事，要收盘子啊，要整理这些，不见得是你在家里面最想做的事情"。这是刚需，所以他判断 Physical AI 会是下一个 revolution。

对英伟达而言，这还符合黄仁勋的品味：他喜欢"zero billion dollar business"——"什么叫 zero billion dollar business？就是现在不是个 business，但以后成功后会变 billion。"你可以不赚钱，但成功时必须 influential、巨大；每年赚一亿美元对很多公司很大，对英伟达反而是分心。CUDA 就是先例：初期等于是赔本在卖，因为要支持 programmability，同样 FLOPS 的 GPU 价格比同行高——但它造出了今天的 AI 市场。"我们的心态不是想说把别人给杀死。我们的心态是我们要怎么去造市场。CUDA 就是造市场。"

世界模型到底是什么？

"世界模型"是一个至今没有公认定义的词，刘洺堉预测它会重演当年 AGI 的定义之争。他列出了三种用途：预测——模型描述世界，预测接下来发生什么；理解——解释为什么发生，比如工厂产线为什么卡住，"可能是之前某工人忘记把什么东西打开"；重建——重建三维世界，用于路线规划或虚拟游历。用途不同，模型形态就不同，但"终究我们是在同一个世界里面，这些模型就是经由不同的观察来描述同一件事情"。

NVIDIA 的自我定位是 World Foundation Model：一个更底层的基座，让所有人都能建出适合自己用途的世界模型。不是每家公司都有资源从零训一个世界模型，Cosmos 就是给他们用的地基。这与李飞飞的 World Labs、Yann LeCun 的 AMI Labs 并行不悖——NVIDIA 同时投资并合作。"每个公司看到的点都不太一样，想解的问题也不一样。"至于竞争，"我不太想竞争了，我已经过那个时期，就是为了要毕业，把论文发出去，是我的算法要比别人好。"

从 22 个模型到一个：LV 的教训

Cosmos 第一代时期，刘洺堉算过一笔账：为了满足合作伙伴的不同需求，predict、transfer、reason、policy 各自独立，他可能需要 22 个模型。他在会上向黄仁勋汇报了这个数字，黄仁勋说 very good，然后讲了一个零售业的故事："Louis Vuitton 这家店呢，当它减少货品陈列的数量之后，反而 sales 是提升了。你不希望太多的东西困惑你的消费者，让他没办法做出决定。"

刘洺堉深有体会：自己都分不清该用模型 A 还是模型 B，"那其他人更加不清楚"。更现实的问题是维护成本——每发一个模型都要持续维护、解决问题，"备多者力寡"，拖慢迭代速度。于是路线收敛为 Omni 世界模型：把 Reason、Predict、Transfer、Policy 合而为一，这就是 Cosmos 3。1 到 2 主要是数据提升，2 到 3 则是一个质的变化。

Cosmos 3：双塔架构与 action 第一公民

Cosmos 3 有两个显著的设计选择。第一是双塔：一个离散塔处理理解任务（从 Cosmos Reason 的 VLM 路线出发），一个连续塔处理生成任务（从 Predict、Transfer、Policy 的扩散路线出发）。分成两个塔是为了客户：post-training 时可以把梯度影响切开——只换生成分布，不会让理解能力流失。刘洺堉承认这"不够 elegant"，下一步的目标是"一个 tower 就够了"，但必须考虑使用者怎么接得住。

第二是把 action 当作第一公民。输入层同时接收语言、视频、音频、动作四种信号——"物理世界的 agent 会 take action，会改变这个世界的状态。我们认为一个好的物理世界的 foundation model 也要把 action 当成 first-class citizen。"语言带来人类知识，视频精准捕捉物理运作，动作让模型能改变世界。触觉暂时缺席：touch sensor 还在快速发展，"需要灵巧手，需要数据"。他这次来中国看到的最大变化之一，正是灵巧手的突破。至于"创新不多"的评价，他回应得很直白："我们是第一个把这个 Mixture of Experts scale 到这么大的模型，把 Audio、Video、Action 都合在一起"——大语言模型都是 Transformer 架构，差距就在细节工程。方法本身没有秘密："做大模型没有什么 secret sauce。做严格的实验，假设、实验、看到结果，累积知识，再做下一个实验。"他常开玩笑说，deep learning 很像中医——是试出来的，靠严格的实验记录去理解中间的法则。

黑客帝国：更好的数据、起点与环境

刘洺堉个人主页上的愿景是为机器人构建一个"黑客帝国"。逻辑是：任何 AI 的核心问题都是泛化——在训练数据之外也表现好。世界模型帮 Physical AI 泛化靠三件事：更好的数据（生成真实世界没采集到的数据）、更好的起点（世界模型的 representation 作为 policy 的 backbone）、更好的环境（像 Matrix 一样可交互的世界）。其中"更好的环境"最具挑战，也尚未发生："大家都希望能做出这个矩阵，但还没发生。"短期内真正管用的是前两者。终局的想象是："最接近的就是你有能力随时可以做出一个黑客帝国的矩阵。"

被问到如果机器人想挣脱 Matrix 怎么办，他的回答带点哲学意味：这个社会是人建立的，科技是人在背后操作，只要大家有共识就不会发生；"pain 跟 suffering 是驱动人进步的关键……不是很确定这些 silicon 做成的 intelligence 是不是有同样的 pain 跟 suffering。"当然，guardrail 也必须同步建设。

数据与评测：Physical AI 的两个硬骨头

数据方面，Physical AI 比大模型难得多：每个机器人形态不同，没有 physical setup 就没法采集数据。刘洺堉观察到两个趋势：其一，大家都往人手方向走——"人类的世界是建出来给人类用的"，工具都适合人手操作，"人手适合收集数据，然后这世界是大部分建给人手的"；其二，Cosmos 2 因此加入了 ego-centric 数据，包含第一人称视角和人手操作。评测方面，他列出三步：benchmark、arena style 对比、跟真正有痛点的人一起解问题。"在 Physical AI 里面第三个特别重要"——coding agent 大家都在解同一个问题，而 Physical AI 每个人要解的问题不一样。泛化在 Physical AI 里的定义也随之清晰："怎样从这个有限的信号里面学到需要的操作，然后应用在一个没有看过的场景里面。"

Physical AI 的 ChatGPT moment

刘洺堉区分了 GPT moment 与 ChatGPT moment：前者证明 scale 有效，后者让大家清楚看到模型如何改变人的生活。Physical AI 需要的 ChatGPT moment，他给出了一个具体的画面："简单的人示范一下怎么要怎么操作，这个机器人就可以就地学会这东西……我就觉得说，yeah, that's the ChatGPT moment for physical AI。"时机上，"也许今年，也许明年，我不知道，但是我觉得它必然会发生"——资金、人才、Digital AI 的成熟都在收敛。他跟小俊有个五年之约：希望五年后再采访，能清楚地讲出 ChatGPT moment 是什么时候、在哪里发生的。

人形机器人会赢吗？他的看法是：优势在于能利用海量人类数据；代价是越像人越复杂。很多公司做轮式上半身人形，也能解决很多问题；"最终肯定就是全人形是最适合各式各样的操作，因为这个是人类的环境"，但最终变量是营运成本。访谈中提到的谭杰老师预测 2035-2036 年可能是人形机器人的主流拐点，刘洺堉说"我希望早一点，但我不确定"。

不裁员的英伟达与它的管理密码

疫情期间经济下行，很多公司裁员。NVIDIA 公司大会上的决定是：裁掉 travel——员工不用出差，全部改线上；讨论要不要砍掉 Slack（"反正我们有 email"）；研究两个云供应商是不是可以取消一个。"我在英伟达的时间里面，就是我没有听到任何裁员的消息"，也没有末位淘汰。代价是转型慢——老员工学新技术需要时间；收益是员工敢讲真话、愿意合作，"在一个全部都强出头的地方，反而不容易促成团结合作"。

英伟达还有两个标志性机制。其一是 Top 5 邮件：每位员工定期写自己最重要的五件事，"如果两个团队在做一模一样的东西，那个 Top 5 email 就会自然显现出来"。其二是"mission is the boss"——不是你的老板是老板。组织像有机体：公司要往某个方向走，各种组织里有相关技能的团队会自动 align。Cosmos 就是例子：很多人不属于这个团队，但都来支持。此外英伟达不赛马："你 take 这个 mission，我们就相信你。但我们一起给你很高的 bar"——用老黄的话说，是"一直让你接受 pain and suffering，torture you to greatness"。

黄仁勋：六边形战士与 "Are you a crybaby?"

近距离观察十年，刘洺堉形容黄仁勋是"六边形战士"：开会时可以深入到 computer architecture 的 register 细节，同时间又能教大家怎么做 marketing；产品定价、客户关系，面面俱到。早期他常传论文给刘洺堉看，让他写 summary——"当初也不懂 computer graphics，他敢踏入做 GPU"；后来也不懂 deep learning，一样踏进去学。决策上，他遵循 first principle：把事情的本质理清，不受外界信号干扰。

最让刘洺堉印象深刻的一句话，来自一次方案对比会。他解释自己落后是因为"他们用的 setting 是一个不公平的 setting"，黄仁勋回了一句："Are you a crybaby?"——实际上没有什么公平不公平，你的目标是解决问题，就该去做解决问题所需要的条件；没有条件，就想办法拿到。"那句话让我印象很深刻，就是我更加严格要求自己：找理由是没用的……我后来就不再找理由了。"

模型能力会收敛，你不需要击败所有对手

刘洺堉对模型竞赛终局的判断很明确："我觉得模型的能力慢慢就会统一。靠模型自己不会是区分，一定要靠一些其他的东西组织在一起。"历史上从来没有一家公司掌握所有科技、别人追不上——人员流动，know-how 自然扩散，"我不觉得 AI 会是一个例外"。软件业的先例是：现在人人都会写软件，活下来的公司各有区分方式，"没有理由模型会是不一样的"。对创业者，他的提醒是别跟 OpenAI、Anthropic 做一样的事，要找他们"没办法去解"的痛点——不是不想解，是 justify 不了。他也理解同质化的苦："同质化竞争是很辛苦的一件事情"，但大家可能是被迫的：没人希望核心科技掌握在别人手里。Anthropic 证明了差异化的价值：早期被认为落后 OpenAI，但最早相信 coding、集中式投资，走出了自己的路。

这是否只是 low ego 的客套？他否认：这是一种 confidence。"我对自己做东西我要求很高……但我的目标并不是击败对手。我的目标是做出好成绩，提出更好的 foundation，让大家可以动得更快。"年轻时的他"总觉得我的算法最好"，但现在，"我不喜欢把他们当成是对手，喜欢把他们当成是伙伴"。更进一步："我是希望具备 number one 的能力，但是做出对这个世界贡献最大的事情。"——number one 模型只给少数人用，权力过度集中在少数人手中，不见得是一件对的事。如今他对 best paper、citation 这些外部指标都不在意了，关心的是"帮助人够不够多"。

中国观察、功夫与凌晨四点

刘洺堉每年会来中国两到三次，因为"在中国这里，physical AI 的发展是非常的茂盛"。他列举中国的模型公司：DeepSeek、千问、豆包、MiniMax、Moonshot/Kimi、MiMo、混元、智谱，"都做得很好"。他特别欣赏一点：美国 frontier lab 很少招实习生，know-how 留在内部；中国公司大量招实习生，把知识扩散出去——"对人类整个知识扩增，就是 diffusion"。机器人本体方面，美国做本体的公司很少，"就 Tesla 跟 Figure AI"，中国有很多家，强大的制造业支撑了快速的硬件迭代与软硬件垂直整合。

生活中的刘洺堉从 18 岁起练中国功夫，起点是金庸小说。师承一脉可以追溯到沧州武术家"神枪李书文"，经刘云樵、徐纪传到他这里。"中国武术最重要就是控制全身，控制自己"——一拳的力量来自全身协调，"把力量从脚一路灌到的手"，这么长的路径要在一瞬间完成，只能靠不断练习、不断自我修改。这和他的研究性格互相塑造。他大概 4-5 点起床、10 点左右入睡，晨间练功、蹲桩、打拳，新嗜好是冰水浴。"整个产业的迭代速度，所以生活步调都变快了……让自己更加高效。"压力也是真实的："每天挥洒这些 GPU 资源、挥洒这些年轻人的时间，然后做出的成果没有达到你最喜欢的结果……无形上都是一个压力。"

给年轻研究员的建议

访谈最后，刘洺堉给年轻研究员的建议是"不要紧张"："不要紧张，对自己有信心，然后冷静下来，看清楚什么地方是值得你投入精力。不要被这些大家的这个宣传觉得好像自己路越走越窄。"Physical AI 是一个好时机，是蓝海；AI 的进步也会带来材料、药物等各行业的突破。方法论上，他反复强调 data 优先："如果一个问题可以用 data 解，你就用 data 解就好，不用开发算法。因为 data 简单多了。"算法不好，靠好 data 和好 infrastructure 也能快速迭代变好——"迭代速度是重要的。那迭代速度就是要靠强大的 infrastructure 来支持"。至于模型本身，"我把它当成中医啦，就是一个 black box……关键是你拿它干什么。"

核心金句

注：文中所有引言均出自本期播客逐字稿；"鱿鱼游戏"系对逐字稿中误听词的修正。作者概括：刘洺堉的竞争哲学可以概括为——先具备做到第一的能力，再用它去做对世界贡献最大的事。