在首日进行的“Synthetic Data for Robot Learning” Workshop上，哥伦比亚大学助理教授李昀烛（Yunzhu Li）颁发了题为“Structured World Models as Scalable Data Enginesfor Robot Policy Training and Evaluation”的演讲，直击了当今具身智能领域面对的主题痛点：真实物理交互数据采集成本极高，且模型试错与评估极其难题。
为此，他提出将结构化世界模型（Structured World Models）作为机械人战术训练与评估的“无限数据引擎”。演讲指出，纯端到端大模型不足物理学问，而纯物理引擎又受限于严苛的观测前提。团队从而启发了一条融合两者优势的“中央路线”：
（编者按：雷峰网·AI科技评论此前在《MIT具身智能达人志》一文中有提及李昀烛亲历 Learning 深刻扭转折械人领域的经历，MIT博士毕业后，李昀烛在哥伦比亚大学任职推动世界模型与多模态感知。）
感激主持人的介绍。今天我极度荣幸能与各位分享我们在“构建环境结构化世界模型”方向上的最新索求。我将向各人展示，若何将这些世界模型转化为壮大的数据引擎，以赋能机械人战术的训练与评估。
最近，机械人的某些子领域正经历着爆炸式的突破——好比此刻满地跑的人形机械人，或者越来越遍及的自动驾驶。但当我们把眼光转向“与环境的复杂物理交互”时，我们到底走到了哪一步 ？离真正人类水平的操作能力还有多远 ？
只管学术界每天都有各类炫酷的 Demo刷屏，但工业界真正大规模部署的，依然是针对规定几何体的单一“拾取与搁置”机械人。这显然不是CA88终极愿景。不仅能驾驭结构化环境，还能在充斥未知的非结构化场景中游刃有余；不仅能摆弄刚硬的铁块，还能处置柔软易变的柔性物体，从而胜任长周期、大跨度的复杂工作。要做到这些，系统所需的泛化与适应能力，必须远远甩开现有的技术基线。
看到大说话模型和视觉模型的惊人成功后，好多人天然会问：这套基础模型的打法能直接复刻到机械人上吗 ？目前重要有两条路线：一种类似“搭积木”，将基础模型与系统结合，构建一些结构化的中央接口，以便将基础模型的知识通报给机械人；另一条路线则是“端到端”。构建这种端到端模型通常有两种方式：从视觉说话模型（VLM）进行预训练，或者从世界模型/视频模型进行预训练。
然而挑战依然如影随形：好比可控性，模型真的会效率你对机械人的指令吗 ？能否仅仅通过扭转说话指令，就能轻松疏导机械人从一个工作无缝切换到另一个工作 ？更致命的是，视觉说话大模型底子不懂底层的物理法令，若何将预测的视频画面落实到下游底层的物理活动节造中，依然是一个未解决的问题。此表系统还面对着可调试性和可扩大性的问题。只管人们在推动“基础模型与机械人操作结合”方面获得了很猛进展，但仍有很多必要解答的问题。
我以为，在这个拼图中缺失的最关键一环，就是环境模型（Models of the environment）。这个模型可所以基于物理的、基于进建的，回首一下，正是由于这种模型的存在，火箭能力升空、无人机能力飞舞，甚至四足机械狗能在野表狂奔。固然模型始终不成能 100%美满，但正是它们，让机械在真实的物理世界中占有了安身之本。
对于机械人的灵巧操作而言，我们也必须在它的大脑里成立一个物理世界的“生理模型（Mental Model）”。我们必要可能预测：当机械臂推出去时，面团会怎么变形 ？洋葱块会若何滚落 ？正是这种正向预测能力，赋能了机械人的行为规划。
那么，若何构建这个模型 ？若是把技术路线比作一个光谱：光谱最左边是纯基于进建（Pure learning-based）的步骤，例如DeepMind 的 Genie 3就是这个方向上的绝佳代表；光谱最右边则是纯依赖物理规定的步骤，好比NVIDIA Warp/Flex。这两端各有千秋，但我最主题的考量是：这两端的中央地带是否存在某种“黄金地带”，能把两者的优势一网打�� ？
从前几年，CA88答案是：以图（Graph）为主题的神经动力学模型。我们将物体拆解为无数个粒子，以此来描述刚性和可变形物体内部及相互之间的物理约束规定。我们在CoRL 大会上拿过最佳系统论文的一个案例，就是让机械人捏面团�；等四芄皇褂盟婊�3D打印的工具，在面团上轻易“把玩”十几分钟，CA88神经动力学模型可能预测出：当你使用特定工具施加特定作为时，面团的状态会若何产生形变。这种预测能力让机械人可能进行行为的逆向规划，并最终成功把面团做成饺子。
同样的逻辑，我们也美满利用到了不规定的颗粒物沉排、多物体复杂碰撞等高难度工作中。例如我们能够规划机械人的行为，将颗粒沉新散布成分歧的指标状态，也就是从字母 A 到 Z 的状态。这是一个高度复杂的工作，涉及到颗粒物极不规定的沉新散布，以及与指标字母状态的细粒度对齐。
前两年的年底，我们在《Science Robotics》上颁发了一篇综述论文，回首了从前十多年里关于“用于机械人操作的基于进建的动力学模型”钻研。这篇论文的整体结构正是成立在我昔时博士论文的框架之上的。它真正反映了从前几年我们在构建该领域模型时，对其中无数轻微差距与衡量的深度思虑。
我们绝不能始终被困在尝试室的桌面上，而是要扩大到更宽泛的天然场景数据网络中去。行业内正投入量的人力物力去真实世界里采集物理交互数据。若是这些带着极高“物理含金量”的数据，最后仅仅被拿去跑一个单一的仿照进建，那险些是暴殄天物！在这些带有作为前提的真实数据中，蕴含着极度丰硕的物理定律。我们齐全能够把它们提炼成动力学模型，进而向构建“用于机械人战术训练和评估的可扩大数据引擎”的指标迈进。
我们再回首一下刚才提到的那个技术光谱，我们在左袒“基于物理建模”方向上做了一项主题工作：建可变形物体的数字孪生数字孪生是什么意思是一个蕴含可变形物体表观、几何状态和动力学特点的物理学实体副本。
各人在左边看到的是输入我们系统的实拍视频。中央，我们展示了沉建出的、随功夫追踪的物体几何状态，以及用于描述人类手部输入作为轨迹的球体网络；在右侧，布景是实拍视频，远景是我们基于作为前提渲染出来的3D视频预测它们美满沉合。有了这个数字孪生体，你甚至能够用鼠标键盘像玩沙盒游戏一样去揉捏那块虚构布料。这个框架同样合用于布料、绳索等其他可变形物体。
这项工作已经颁布，Google 机械人团队的伴侣就找上门来，但愿用这套模型来做战术评估。为什么 ？由于对于 Google这样的大厂，训练一个基础模型可能会产出成百上千个Checkpoints，但由于真机测试太慢，他们只能挑寥若晨星的几个抛到物理世界里去跑，测一轮就得等上一两天。
这是当前机械人研发最致命的效能瓶颈。他们其时向我吐槽：“哪怕全靠烧钱堆真机，我们硬磕也能磨出了局来。”——但前提只是针对桌面环境的单一Gemini 机械人工作。若是他们转向运行周期更长、规模更大、更复杂的工作，这种砸钱堆真机的迭代速度就会断崖式着落。
为相识决这个痛点，我们彻底简化了这种“数字孪生”的构建流程。此刻，我们只必要拿着相机绕着物体走一圈，就能捕获机械人、布景和物体的表观及几何状态，并通过几次简短的现实交互来捉拿物体的动力学个性。
各人能够对比第一排的仿真环境和第二排的真实环境。一个仅仅用真实数据训练出的战术，在数字世界里阐发出的成功率与失败姿势，与物理真实世界实现了极其惊人的线性有关性。
因而我们真正将这个数字引擎用于模型评估。在这里，我们评估了一系列当下最盛行的战术算法，以及轻量级的 VLA模型，并逾越了多个分歧的 Checkpoints。你能够看到，在很多分歧的工作中，CA88数字仿真环境在成功率预测上，与真实环境实现了高度线性的有关。
但这里我必须端庄强调：任何做“模型评估”的钻研，都必须对测试和谈怀有敬畏之心。我们借鉴了丰田钻研院（TRI）的严苛尺度：我们必须极其严格地节造并理解训练和评估时的数据散布，以此来确保在分歧模型间进行的是齐全平正的比力。
在我的尝试室，我甚至定下一条铁律：学生在真机评估时，必须向我展示初始状态的半通明叠影，我直接对他们说，若是不给我看这个叠加图，我就齐全不相信你们的测试了局。
为了确保所有的初始状态在分歧战术间、尤其是在真实环境与数字仿真环境间绝对一致，每次我们在真机上摆放测试物体时，城市像左图那样使用半通明叠加概括。学生必须将实物严丝合缝地对齐在概括内，确保初始配置的一致性。
凭借这种严谨，我们能够在统一个战术架构内筛选出最佳的Checkpoint，如这个折线图所示，仿真引擎测出的成功率（数字图）与真机成功率美满对齐。有趣的是，有时辰阐发最好的Checkpoint 不定是你训练到最后的那一个，反而往往呈此刻训练的中期。
最近，我也结合缔造了一家草创公司，推动这一理想落地，看看这种数字环境到底能无限逼近真实世界到什么田地。如视频所示，左边是真实环境，右边是孪生数字环境。这是一个极其复杂的操作工作，最终机械人必须将这两个齿轮插入一个公差极度幼的孔位中。各人在这里看到的是一个齐全“只用纯仿真数据”训练出来的战术模型，但它的真机行为阐发，与数字环境中的推演依然维持了极高的有关性。
我们能够利用这个数字孪生引擎源源不休地天生海量训练数据。由这些数据训练出的模型战术，可能直接部署在真实环境中，不间断且非� ？康米〉毓ぷ�。这有力地证了然，由底层物理规定驱动的结构化世界模型，齐全有能力捉拿现实中物理交互的轻微误差与复杂性，从而助我们训练出足以真机落地的鲁棒战术。
这里是柔性线缆的插拔操作的演示。你不仅能看到两者在渲染表观上匹配得极其真切，甚至在操作过程中，系统也美满沉现了线缆由于受力不均所阐发出的各类异质物理形变。我们在展览厅的 72 号展位与 Analog Devices结合进行现场实机演示。若是各人感兴致，非�；队忧拔Ч�。
刚才是左袒“物理先验”的蹊径，接着，我们把眼光投向光谱的另一端，即“拥抱数据、相信大力出事业”的纯基于进建的方向。由此，我们开发了一项名为“交互式世界仿照器”的工作。
这是一个物理交互语境下的、基于作为前提的视频天生/预测模型，也是该领域首个真正让我感触突破的成就。它证了然纯AI的视频预测模型齐全能胜任长周期的、蕴含高度非平淡的柔性物体交互工作。
它不仅能以 15 帧/秒的速度，天生了超过 10 分钟的作为前提预测视频，它不仅能推演刚体与柔性体的交错互动，甚至还能实时响应。我的学生在这边操控着遥操作手柄，顿时就能在那个平行宇宙里的AI仿照器中瞬间渲染出对应的物理反馈。这套系统同样合用于推T型、抓杯子以及多物体交互等复杂操作。
第一，你能够看到视频预测模型齐全理解了夹爪与绳索之间的物理拓扑约束。它具备真实的 3D深度理解能力，知路这根绳子是在夹子的上方，还是已经被塞进了夹子内部；
第二，模型精准地捉拿了夹爪与马克杯之间轻微的接触交互。当你张开夹爪、关合夹爪，或者是去推杯子的边缘、推杯子的把手时，模型城市相应地预测出杯子分歧的旋转轨迹；
第三，你甚至能在这个纯AI天生的视坡凤，把杯子从 3D空间中举起来，放在高处的盘子上。系统确保了分歧摄像机视角在三维空间中的绝对一致性。
那么，这个“极其真切的幻觉世界”到底有什么用 ？正如我开篇所述，这依然服务于CA88主题愿景：一是战术训练，二是战术评估。
我们在训练时，没有采集哪怕一条真实的物理世界数据，所罕见据全都是在这个世界仿照器里天生的虚构轨迹。然而令人吃惊的是，靠纯虚构数据喂出来的战术模型，竟然能够在复杂的“绳索布线”、“杂物排除”中实现现实世界零样本落地。即便画面里有表人不休伸手去滋扰机械人，机械人的阐发依然坚如磐石。这种阐发同样合用于抓取马克杯、排除杂物以及井自戾工作。
这就引出了一个终极问题：几多条虚构数据，能力抵得上一条真实的数据 ？为了回覆这个问题，我们做了一项消融尝试，从 100%虚构到 100% 真实，不休调节训练集里虚实数据的配比。
我们横向评测了当今最能打的几套战术算法：Diffusion Policy、ACT以及Pi0模型。甚至最新的大模型架构pi_0。得出的结论极度震撼：所有模型的阐发都维持了跨度极高的一致性。并且这种法规在分歧工作间美满迁徙。
我能够斗胆放言：在CA88世界仿照器中天生的一条虚构轨迹数据，在训练价值上，险些 100%等效于你在真机上劳累采集的一条真实数据。
我们也会拿这个世界模型来做战术评估。各人此刻看到的是仅用真实数据训练好的战术，我们将它同时部署在上面这排的虚构世界仿照器中，和下面这排的真实物理空间中。两条轨迹险些美满同步；若是在底层做定量的误差评估，它们的数值对齐水平也极度高。
我顺带提个有趣的插曲：几个拿着Y Combinator投资的年轻创业者，直接拿我们开源的模型去搞贸易化融资。我去看了眼他们宣发的BP博客，心想：“好家伙，这图看着可真眼熟�。 �
总之，这美满印证了我的主题概想：结合了结构的“结构化世界模型”，齐全能够作为一种无限可扩大的数据引擎，扛起大规�；等四Ｐ脱盗酚胙橹さ某寥�。我们齐全能够把这些数据的价值榨干：通过它们训练出极端丰硕的世界模型，再用世界模型反哺数据的天生。
最后，我想向我所有的合作者致以最深切的感激。没有他们，实现这些重大的工程系统险些是天方夜谭，尤其是我的学生们，他们承担了我刚才所展示工作里险些所有最繁沉的开发和推演。我还要感激我尝试室的赞助商们，他们时时提供极度敏感的行业需要视角，启发了我们今天的好多钻研方向。
李昀烛：这是一个极度好的问题。图性质上是对物理环境的一种降维抽象。你能够自由调节参加推算的节点或粒子数量，算力严重时，你能够把它当成稀少的“关键点”来算。
所以，这性质上是一个在“算力”与“精度”若何平衡的问题。你能够动态调整这个参数，从而在推算效能和仿真成效之间找到最佳折中点。你必要找到那个最精简、却又能刚好兜住下游工作所需物理信息的平衡点。
听多B： 您能具体讲讲 3D 高斯溅射与基于图的表征在您系统里的关系吗 ？另表，在评估时到底要给算法喂几多演示数据才算平正 ？由于分歧算法必要的演示状态不一样，您怎么界说泛化能力的基准呢 ？
李昀烛：这是一个极度在行的提问，我必必要澄清：在CA88架构里，高斯点仅仅掌管环境的光影和表观渲染。而涉及系统最主题的物理底层，也就是我们说的现实动力学建模，我们齐全使用的是图节点和粒子网络。
以面团的仿真为例，我们用基于图的神经动力学模型来算面团的变形，并在图的网络结构上套上密集弹簧质点约束来节造它的物理拉伸。这意味着，在CA88架构里，动力学建模引擎与视觉渲染引擎性质上是相互解耦的：高斯管渲染，Graph管物理。两者在解耦的同时，通过图形学里经典的“线性混合蒙皮”技术绑定在一路。
关于评估的严谨性，我们在实证数据上极其刻薄，如我幻灯片所示，我们硬性划定了极其严苛的统一套初始构型。在对比时，对于每种算法战术的每一个Checkpoint，我们雷打不动地在真实环境里跑 20 次实测，在数字环境里也跑 20次。固然在数字环境里我们一键就能跑一万次，但为了绝对的侧边比对（Side-by-side），我们取 20对 20。
我幻灯片上那密密麻麻的散点图，每一个点背后都是学生在台子上一丝不苟摆放 20次换来的真金白银的数据。你能够数数我学生为了出这几张图到底肝了多久，这绝对是苦力活。至于训练阶段，我们就选取行业通畅的尺度做法，也就是喂给战术或许 50到 200 条演示数据。
听多C： 您的模型泛化能力若何 ？好比，若是此刻换一个状态齐全分歧的幼孩玩具，或者换一条材质齐全分歧的绳子，您的模型还能直接泛化吗 ？它是能直接泛化，还是说我要沉头为它训练一个新模型 ？
李昀烛：这是个极其直击痛点的问题！由于我们此刻的数字孪生是通过“现实到仿真（Real-to-Sim）”的管线为面前这个“特定物体”量身定造的，所以它并不能零样本直接迁徙到新物体上。好在此刻的极简流程，只必要几分钟就能构建出一个新数字孪生体。
但是CA88星辰大海不止于此，我们在全力攻坚的一项工作，就是从这批已经被辨识出的各类物体中，“蒸馏”出一个更高维度的通用神经动力学模型。CA88终极愿景是：只用这一个通用模型，就能天然而然地泛化到所有奇形怪状的未知可变形物体上。
听多D： 我极度震撼于您能把左袒 2D数据驱动的视频天生和左袒 3D 物理先验驱动的结构化沉建美满结合。我知路您的学术布景很左袒 CV，都在狂堆 2D 端到端模型，甚至有人喊出“3D 路线已死”，站在您的视角，您对未来的技术疆域有什么样的愿景 ？这两条路线最终将以何种状态融合 ？
李昀烛：这是一个极度巨大的问题，若是暗里聊，这个话题我们能舌战几个幼时，但我长话短说以表立�。何沂� 3D技术铁心塌地的信徒。
只有有一丝可能让系统跑在 3D 空间里，我就会不惜所有价值往三维挨近。哪怕是我在做“天生式视频预测」剽项工作时，我的底线也是必须做“多摄像机视角的结合推演”。也就是说，即便是跑 2D 的视频大模型，它的大脑里也必须含有肯定水平的三维空间理解能力。
从长远来看，我绝对认可纯数据驱动路线那可怕的潜力——只有算力不休，但至少此刻，它的泛化性、多视角的物理一致性，还差得太远。
反过来看另一端的纯物理引擎呢 ？逻辑固然绝对缜密，但它苛求齐全的环境状态信息，这种梦想前提在天然场景里底子不现实。正由于看到了两者的极限，我才一向死磕这个问题：我到底能在光谱两端的中央地带找到什么 ？
我坚信，最终能扭转世界的那个大模型，肯定会坐落在 3D 物理结构与 2D海量数据的交汇处。我们要寻找的是那把最精简的“物理先验”钥匙，并让它在无尽的真实数据海潮中自我进化。这，才是通向通用机械人时期的终极配方。
《死对头拿了的共感娃娃小说》Mike：不管你信不信，AI的潜力其实是被低估。我经常说，AI的应用范围其实是被工程师的团队所限制住了，比方说我觉得我们其实还可以探索AI的应用的潜力，当然不仅仅是说模型，还有一些像物理AI或者实体AI的应用，我始终认为 AI应用还可以更多的去结合或者结成到现在的应用之中。据AI媒体Fello AI 6月3日报道，Altman在OpenAI于6月2日面向企业客户的线下活动上表示，2026年初，AI运行成本“从未被提起”，客户对支出水平“完全满意”。但到现在，AI成本已经成为企业采购和部署中的主要问题。《死对头拿了的共感娃娃小说》《苍教员电影免费播放电影大全百度云》去年我们已经有过类似经历。他们带着欧冠冠军的身份来到国家队，也把信心带给了球队。赢得欧冠之后，你会觉得一切皆有可能。努诺-门德斯在对阵西班牙的决赛中表现非常出色，维蒂尼亚也踢了一场精彩的比赛。贡萨洛-拉莫斯一直是一个榜样，他总是做好准备，为球队贡献一切。若昂-内维斯则已经成长为欧洲最优秀的中场之一。Agent上线前还有最后一道关：安全验证Arga Labs做的正是验证层工作。它建了一套数字孪生环境，企业在上生产环境之前可以在里面安全地测试AI Agent。
20260608 ? 《死对头拿了的共感娃娃小说》从个人角度来说，鲁本-迪亚斯能够踢这么长时间非常重要。唯一比较遗憾的就是那张红牌，我们会在下一场比赛中做出调整。整体来看，有些方面做得很好，也有一些地方还需要改进。但作为一支球队，我们正在逐渐形成整体，而且能够在下半场遭遇少打一人的情况下赢下比赛，这一点很重要。”樱桃视频需要指出的是，模块化内存与驱动AI服务器内存芯片需求的高带宽内存（HBM）是两个不同的产品类别。SemiAnalysis创始人Dylan Patel随后发文澄清，称该机构的分析"并无任何看空之处"。
20260608 ? 《死对头拿了的共感娃娃小说》更难的问题在于：网页任务的"成功与否"往往要等到整个任务完成后才能判断。你无法在AI点击第三个按钮的时候告诉它"这一步做得对"，只能在它最终回答出"这款鞋的最低价是299元"之后，才能评判整个过程对不对。这种"事后才知道结果"的反馈机制，对训练算法的设计提出了很高的要求。《爱情电影作为大片》AI 表现相对最好的是“看懂画面”这一步，也就是判断比赛某个时刻由哪名球员做了什么动作。但即便是最基础的感知任务，AI 也谈不上可靠。ChatGPT、谷歌 Gemini 和千问等模型的平均识别准确率大约为 74%。报道指出，放在体育解说场景里，这个水平恐怕连少年棒球赛的义务解说员都保不住位置。
京公网安备11010202000001号
