在首日进行的“Synthetic Data for Robot Learning” Workshop上，哥伦比亚大学助理教授李昀烛（Yunzhu Li）颁发了题为“Structured World Models as Scalable Data Enginesfor Robot Policy Training and Evaluation”的演讲，直击了当今具身智能领域面对的主题痛点：真实物理交互数据采集成本极高，且模型试错与评估极其难题。
为此，他提出将结构化世界模型（Structured World Models）作为机械人战术训练与评估的“无限数据引擎”。演讲指出，纯端到端大模型不足物理学问，而纯物理引擎又受限于严苛的观测前提。团队从而启发了一条融合两者优势的“中央路线”：
（编者按：雷峰网·AI科技评论此前在《MIT具身智能达人志》一文中有提及李昀烛亲历 Learning 深刻扭转折械人领域的经历，MIT博士毕业后，李昀烛在哥伦比亚大学任职推动世界模型与多模态感知。）
感激主持人的介绍。今天我极度荣幸能与各位分享我们在“构建环境结构化世界模型”方向上的最新索求。我将向各人展示，若何将这些世界模型转化为壮大的数据引擎，以赋能机械人战术的训练与评估。
最近，机械人的某些子领域正经历着爆炸式的突破——好比此刻满地跑的人形机械人，或者越来越遍及的自动驾驶。但当我们把眼光转向“与环境的复杂物理交互”时，我们到底走到了哪一步 ？离真正人类水平的操作能力还有多远 ？
只管学术界每天都有各类炫酷的 Demo刷屏，但工业界真正大规模部署的，依然是针对规定几何体的单一“拾取与搁置”机械人。这显然不是CA88终极愿景。不仅能驾驭结构化环境，还能在充斥未知的非结构化场景中游刃有余；不仅能摆弄刚硬的铁块，还能处置柔软易变的柔性物体，从而胜任长周期、大跨度的复杂工作。要做到这些，系统所需的泛化与适应能力，必须远远甩开现有的技术基线。
看到大说话模型和视觉模型的惊人成功后，好多人天然会问：这套基础模型的打法能直接复刻到机械人上吗 ？目前重要有两条路线：一种类似“搭积木”，将基础模型与系统结合，构建一些结构化的中央接口，以便将基础模型的知识通报给机械人；另一条路线则是“端到端”。构建这种端到端模型通常有两种方式：从视觉说话模型（VLM）进行预训练，或者从世界模型/视频模型进行预训练。
然而挑战依然如影随形：好比可控性，模型真的会效率你对机械人的指令吗 ？能否仅仅通过扭转说话指令，就能轻松疏导机械人从一个工作无缝切换到另一个工作 ？更致命的是，视觉说话大模型底子不懂底层的物理法令，若何将预测的视频画面落实到下游底层的物理活动节造中，依然是一个未解决的问题。此表系统还面对着可调试性和可扩大性的问题。只管人们在推动“基础模型与机械人操作结合”方面获得了很猛进展，但仍有很多必要解答的问题。
我以为，在这个拼图中缺失的最关键一环，就是环境模型（Models of the environment）。这个模型可所以基于物理的、基于进建的，回首一下，正是由于这种模型的存在，火箭能力升空、无人机能力飞舞，甚至四足机械狗能在野表狂奔。固然模型始终不成能 100%美满，但正是它们，让机械在真实的物理世界中占有了安身之本。
对于机械人的灵巧操作而言，我们也必须在它的大脑里成立一个物理世界的“生理模型（Mental Model）”。我们必要可能预测：当机械臂推出去时，面团会怎么变形 ？洋葱块会若何滚落 ？正是这种正向预测能力，赋能了机械人的行为规划。
那么，若何构建这个模型 ？若是把技术路线比作一个光谱：光谱最左边是纯基于进建（Pure learning-based）的步骤，例如DeepMind 的 Genie 3就是这个方向上的绝佳代表；光谱最右边则是纯依赖物理规定的步骤，好比NVIDIA Warp/Flex。这两端各有千秋，但我最主题的考量是：这两端的中央地带是否存在某种“黄金地带”，能把两者的优势一网打�� ？
从前几年，CA88答案是：以图（Graph）为主题的神经动力学模型。我们将物体拆解为无数个粒子，以此来描述刚性和可变形物体内部及相互之间的物理约束规定。我们在CoRL 大会上拿过最佳系统论文的一个案例，就是让机械人捏面团�；等四芄皇褂盟婊�3D打印的工具，在面团上轻易“把玩”十几分钟，CA88神经动力学模型可能预测出：当你使用特定工具施加特定作为时，面团的状态会若何产生形变。这种预测能力让机械人可能进行行为的逆向规划，并最终成功把面团做成饺子。
同样的逻辑，我们也美满利用到了不规定的颗粒物沉排、多物体复杂碰撞等高难度工作中。例如我们能够规划机械人的行为，将颗粒沉新散布成分歧的指标状态，也就是从字母 A 到 Z 的状态。这是一个高度复杂的工作，涉及到颗粒物极不规定的沉新散布，以及与指标字母状态的细粒度对齐。
前两年的年底，我们在《Science Robotics》上颁发了一篇综述论文，回首了从前十多年里关于“用于机械人操作的基于进建的动力学模型”钻研。这篇论文的整体结构正是成立在我昔时博士论文的框架之上的。它真正反映了从前几年我们在构建该领域模型时，对其中无数轻微差距与衡量的深度思虑。
我们绝不能始终被困在尝试室的桌面上，而是要扩大到更宽泛的天然场景数据网络中去。行业内正投入量的人力物力去真实世界里采集物理交互数据。若是这些带着极高“物理含金量”的数据，最后仅仅被拿去跑一个单一的仿照进建，那险些是暴殄天物！在这些带有作为前提的真实数据中，蕴含着极度丰硕的物理定律。我们齐全能够把它们提炼成动力学模型，进而向构建“用于机械人战术训练和评估的可扩大数据引擎”的指标迈进。
我们再回首一下刚才提到的那个技术光谱，我们在左袒“基于物理建模”方向上做了一项主题工作：建可变形物体的数字孪生数字孪生是什么意思是一个蕴含可变形物体表观、几何状态和动力学特点的物理学实体副本。
各人在左边看到的是输入我们系统的实拍视频。中央，我们展示了沉建出的、随功夫追踪的物体几何状态，以及用于描述人类手部输入作为轨迹的球体网络；在右侧，布景是实拍视频，远景是我们基于作为前提渲染出来的3D视频预测它们美满沉合。有了这个数字孪生体，你甚至能够用鼠标键盘像玩沙盒游戏一样去揉捏那块虚构布料。这个框架同样合用于布料、绳索等其他可变形物体。
这项工作已经颁布，Google 机械人团队的伴侣就找上门来，但愿用这套模型来做战术评估。为什么 ？由于对于 Google这样的大厂，训练一个基础模型可能会产出成百上千个Checkpoints，但由于真机测试太慢，他们只能挑寥若晨星的几个抛到物理世界里去跑，测一轮就得等上一两天。
这是当前机械人研发最致命的效能瓶颈。他们其时向我吐槽：“哪怕全靠烧钱堆真机，我们硬磕也能磨出了局来。”——但前提只是针对桌面环境的单一Gemini 机械人工作。若是他们转向运行周期更长、规模更大、更复杂的工作，这种砸钱堆真机的迭代速度就会断崖式着落。
为相识决这个痛点，我们彻底简化了这种“数字孪生”的构建流程。此刻，我们只必要拿着相机绕着物体走一圈，就能捕获机械人、布景和物体的表观及几何状态，并通过几次简短的现实交互来捉拿物体的动力学个性。
各人能够对比第一排的仿真环境和第二排的真实环境。一个仅仅用真实数据训练出的战术，在数字世界里阐发出的成功率与失败姿势，与物理真实世界实现了极其惊人的线性有关性。
因而我们真正将这个数字引擎用于模型评估。在这里，我们评估了一系列当下最盛行的战术算法，以及轻量级的 VLA模型，并逾越了多个分歧的 Checkpoints。你能够看到，在很多分歧的工作中，CA88数字仿真环境在成功率预测上，与真实环境实现了高度线性的有关。
但这里我必须端庄强调：任何做“模型评估”的钻研，都必须对测试和谈怀有敬畏之心。我们借鉴了丰田钻研院（TRI）的严苛尺度：我们必须极其严格地节造并理解训练和评估时的数据散布，以此来确保在分歧模型间进行的是齐全平正的比力。
在我的尝试室，我甚至定下一条铁律：学生在真机评估时，必须向我展示初始状态的半通明叠影，我直接对他们说，若是不给我看这个叠加图，我就齐全不相信你们的测试了局。
为了确保所有的初始状态在分歧战术间、尤其是在真实环境与数字仿真环境间绝对一致，每次我们在真机上摆放测试物体时，城市像左图那样使用半通明叠加概括。学生必须将实物严丝合缝地对齐在概括内，确保初始配置的一致性。
凭借这种严谨，我们能够在统一个战术架构内筛选出最佳的Checkpoint，如这个折线图所示，仿真引擎测出的成功率（数字图）与真机成功率美满对齐。有趣的是，有时辰阐发最好的Checkpoint 不定是你训练到最后的那一个，反而往往呈此刻训练的中期。
最近，我也结合缔造了一家草创公司，推动这一理想落地，看看这种数字环境到底能无限逼近真实世界到什么田地。如视频所示，左边是真实环境，右边是孪生数字环境。这是一个极其复杂的操作工作，最终机械人必须将这两个齿轮插入一个公差极度幼的孔位中。各人在这里看到的是一个齐全“只用纯仿真数据”训练出来的战术模型，但它的真机行为阐发，与数字环境中的推演依然维持了极高的有关性。
我们能够利用这个数字孪生引擎源源不休地天生海量训练数据。由这些数据训练出的模型战术，可能直接部署在真实环境中，不间断且非� ？康米〉毓ぷ�。这有力地证了然，由底层物理规定驱动的结构化世界模型，齐全有能力捉拿现实中物理交互的轻微误差与复杂性，从而助我们训练出足以真机落地的鲁棒战术。
这里是柔性线缆的插拔操作的演示。你不仅能看到两者在渲染表观上匹配得极其真切，甚至在操作过程中，系统也美满沉现了线缆由于受力不均所阐发出的各类异质物理形变。我们在展览厅的 72 号展位与 Analog Devices结合进行现场实机演示。若是各人感兴致，非�；队忧拔Ч�。
刚才是左袒“物理先验”的蹊径，接着，我们把眼光投向光谱的另一端，即“拥抱数据、相信大力出事业”的纯基于进建的方向。由此，我们开发了一项名为“交互式世界仿照器”的工作。
这是一个物理交互语境下的、基于作为前提的视频天生/预测模型，也是该领域首个真正让我感触突破的成就。它证了然纯AI的视频预测模型齐全能胜任长周期的、蕴含高度非平淡的柔性物体交互工作。
它不仅能以 15 帧/秒的速度，天生了超过 10 分钟的作为前提预测视频，它不仅能推演刚体与柔性体的交错互动，甚至还能实时响应。我的学生在这边操控着遥操作手柄，顿时就能在那个平行宇宙里的AI仿照器中瞬间渲染出对应的物理反馈。这套系统同样合用于推T型、抓杯子以及多物体交互等复杂操作。
第一，你能够看到视频预测模型齐全理解了夹爪与绳索之间的物理拓扑约束。它具备真实的 3D深度理解能力，知路这根绳子是在夹子的上方，还是已经被塞进了夹子内部；
第二，模型精准地捉拿了夹爪与马克杯之间轻微的接触交互。当你张开夹爪、关合夹爪，或者是去推杯子的边缘、推杯子的把手时，模型城市相应地预测出杯子分歧的旋转轨迹；
第三，你甚至能在这个纯AI天生的视坡凤，把杯子从 3D空间中举起来，放在高处的盘子上。系统确保了分歧摄像机视角在三维空间中的绝对一致性。
那么，这个“极其真切的幻觉世界”到底有什么用 ？正如我开篇所述，这依然服务于CA88主题愿景：一是战术训练，二是战术评估。
我们在训练时，没有采集哪怕一条真实的物理世界数据，所罕见据全都是在这个世界仿照器里天生的虚构轨迹。然而令人吃惊的是，靠纯虚构数据喂出来的战术模型，竟然能够在复杂的“绳索布线”、“杂物排除”中实现现实世界零样本落地。即便画面里有表人不休伸手去滋扰机械人，机械人的阐发依然坚如磐石。这种阐发同样合用于抓取马克杯、排除杂物以及井自戾工作。
这就引出了一个终极问题：几多条虚构数据，能力抵得上一条真实的数据 ？为了回覆这个问题，我们做了一项消融尝试，从 100%虚构到 100% 真实，不休调节训练集里虚实数据的配比。
我们横向评测了当今最能打的几套战术算法：Diffusion Policy、ACT以及Pi0模型。甚至最新的大模型架构pi_0。得出的结论极度震撼：所有模型的阐发都维持了跨度极高的一致性。并且这种法规在分歧工作间美满迁徙。
我能够斗胆放言：在CA88世界仿照器中天生的一条虚构轨迹数据，在训练价值上，险些 100%等效于你在真机上劳累采集的一条真实数据。
我们也会拿这个世界模型来做战术评估。各人此刻看到的是仅用真实数据训练好的战术，我们将它同时部署在上面这排的虚构世界仿照器中，和下面这排的真实物理空间中。两条轨迹险些美满同步；若是在底层做定量的误差评估，它们的数值对齐水平也极度高。
我顺带提个有趣的插曲：几个拿着Y Combinator投资的年轻创业者，直接拿我们开源的模型去搞贸易化融资。我去看了眼他们宣发的BP博客，心想：“好家伙，这图看着可真眼熟�。 �
总之，这美满印证了我的主题概想：结合了结构的“结构化世界模型”，齐全能够作为一种无限可扩大的数据引擎，扛起大规�；等四Ｐ脱盗酚胙橹さ某寥�。我们齐全能够把这些数据的价值榨干：通过它们训练出极端丰硕的世界模型，再用世界模型反哺数据的天生。
最后，我想向我所有的合作者致以最深切的感激。没有他们，实现这些重大的工程系统险些是天方夜谭，尤其是我的学生们，他们承担了我刚才所展示工作里险些所有最繁沉的开发和推演。我还要感激我尝试室的赞助商们，他们时时提供极度敏感的行业需要视角，启发了我们今天的好多钻研方向。
李昀烛：这是一个极度好的问题。图性质上是对物理环境的一种降维抽象。你能够自由调节参加推算的节点或粒子数量，算力严重时，你能够把它当成稀少的“关键点”来算。
所以，这性质上是一个在“算力”与“精度”若何平衡的问题。你能够动态调整这个参数，从而在推算效能和仿真成效之间找到最佳折中点。你必要找到那个最精简、却又能刚好兜住下游工作所需物理信息的平衡点。
听多B： 您能具体讲讲 3D 高斯溅射与基于图的表征在您系统里的关系吗 ？另表，在评估时到底要给算法喂几多演示数据才算平正 ？由于分歧算法必要的演示状态不一样，您怎么界说泛化能力的基准呢 ？
李昀烛：这是一个极度在行的提问，我必必要澄清：在CA88架构里，高斯点仅仅掌管环境的光影和表观渲染。而涉及系统最主题的物理底层，也就是我们说的现实动力学建模，我们齐全使用的是图节点和粒子网络。
以面团的仿真为例，我们用基于图的神经动力学模型来算面团的变形，并在图的网络结构上套上密集弹簧质点约束来节造它的物理拉伸。这意味着，在CA88架构里，动力学建模引擎与视觉渲染引擎性质上是相互解耦的：高斯管渲染，Graph管物理。两者在解耦的同时，通过图形学里经典的“线性混合蒙皮”技术绑定在一路。
关于评估的严谨性，我们在实证数据上极其刻薄，如我幻灯片所示，我们硬性划定了极其严苛的统一套初始构型。在对比时，对于每种算法战术的每一个Checkpoint，我们雷打不动地在真实环境里跑 20 次实测，在数字环境里也跑 20次。固然在数字环境里我们一键就能跑一万次，但为了绝对的侧边比对（Side-by-side），我们取 20对 20。
我幻灯片上那密密麻麻的散点图，每一个点背后都是学生在台子上一丝不苟摆放 20次换来的真金白银的数据。你能够数数我学生为了出这几张图到底肝了多久，这绝对是苦力活。至于训练阶段，我们就选取行业通畅的尺度做法，也就是喂给战术或许 50到 200 条演示数据。
听多C： 您的模型泛化能力若何 ？好比，若是此刻换一个状态齐全分歧的幼孩玩具，或者换一条材质齐全分歧的绳子，您的模型还能直接泛化吗 ？它是能直接泛化，还是说我要沉头为它训练一个新模型 ？
李昀烛：这是个极其直击痛点的问题！由于我们此刻的数字孪生是通过“现实到仿真（Real-to-Sim）”的管线为面前这个“特定物体”量身定造的，所以它并不能零样本直接迁徙到新物体上。好在此刻的极简流程，只必要几分钟就能构建出一个新数字孪生体。
但是CA88星辰大海不止于此，我们在全力攻坚的一项工作，就是从这批已经被辨识出的各类物体中，“蒸馏”出一个更高维度的通用神经动力学模型。CA88终极愿景是：只用这一个通用模型，就能天然而然地泛化到所有奇形怪状的未知可变形物体上。
听多D： 我极度震撼于您能把左袒 2D数据驱动的视频天生和左袒 3D 物理先验驱动的结构化沉建美满结合。我知路您的学术布景很左袒 CV，都在狂堆 2D 端到端模型，甚至有人喊出“3D 路线已死”，站在您的视角，您对未来的技术疆域有什么样的愿景 ？这两条路线最终将以何种状态融合 ？
李昀烛：这是一个极度巨大的问题，若是暗里聊，这个话题我们能舌战几个幼时，但我长话短说以表立�。何沂� 3D技术铁心塌地的信徒。
只有有一丝可能让系统跑在 3D 空间里，我就会不惜所有价值往三维挨近。哪怕是我在做“天生式视频预测」剽项工作时，我的底线也是必须做“多摄像机视角的结合推演”。也就是说，即便是跑 2D 的视频大模型，它的大脑里也必须含有肯定水平的三维空间理解能力。
从长远来看，我绝对认可纯数据驱动路线那可怕的潜力——只有算力不休，但至少此刻，它的泛化性、多视角的物理一致性，还差得太远。
反过来看另一端的纯物理引擎呢 ？逻辑固然绝对缜密，但它苛求齐全的环境状态信息，这种梦想前提在天然场景里底子不现实。正由于看到了两者的极限，我才一向死磕这个问题：我到底能在光谱两端的中央地带找到什么 ？
我坚信，最终能扭转世界的那个大模型，肯定会坐落在 3D 物理结构与 2D海量数据的交汇处。我们要寻找的是那把最精简的“物理先验”钥匙，并让它在无尽的真实数据海潮中自我进化。这，才是通向通用机械人时期的终极配方。
日剧《谜样的爱子》袁军：如果我们把中国人工智能模型每天的信息吞吐量全部用来生成4K、24帧的高清电影，这个规模足以让我们“拍”出超1.7万部《流浪地球2》。海量的词元消耗，说明了一件事，中国的人工智能已经从实验室中的“技术概念”变成了大家日常生活中不可或缺的“生产工具”；词元也正在成为智能时代的“水电煤”，并深刻改变着人工智能产业的商业模式。2026年世界杯将同时在三个国家举行，这意味着参赛球队需要应对多种气候条件、长距离旅行以及可能不同的海拔和时差。虽然国际赛事中环境与后勤挑战并不新鲜，但在单一赛事中如此多变且广泛的组合，是史无前例的。日剧《谜样的爱子》《爱情暴君》动漫当然，也有机构依然看好科技股。富国银行首席股票策略师Ohsung Kwon表示：“今天市场的反应更多是由仓位因素推动，而非基本面变化。半导体板块此前已经处于极度超买状态，因此出现回调并不意外。我不认为这意味着半导体牛市已经结束。”关于皇马主席选举，龙塞罗认为弗洛伦蒂诺-路易斯是热门：“弗洛伦蒂诺有履历，我认为人们会根据他的过往成绩投票。他肯定会赢，不是压倒性胜利，但肯定会赢。”
20260609 ? 日剧《谜样的爱子》在对阵挪威和希腊的比赛中，瑞典整体采取了偏防守的战术思路。球队排出五后卫体系，并在比赛的大部分时间里选择低位防守。炸裂吧巨棒38集漫画免费旁观一些警报声也已经响起。桥水基金创始人达利欧警告称，当前席卷全球资本市场的人工智能热潮已经呈现出典型的泡沫特征，而历史经验表明，这类泡沫最终往往都会走向破裂，泡沫通常会在投资者开始兑现收益的时候破裂。
20260609 ? 日剧《谜样的爱子》所以 OpenSquilla 会按需加载 Skill。一次任务只注入可能用到的 Skill，不把几十个 Skill 的说明全部塞进去。记忆也是一样，不是把历史对话整段搬进 prompt，而是从本地数据库里检索相关片段。想要xx这些“阵风”战斗机在2019年到2022年期间陆续服役后，印度空军对其性能相当满意，随后又启动了后续114架的采购计划。今年1月，印度国防采购委员会初步批准购买114架“阵风”战斗机，其中88架为单座战斗机，26架为双座战斗机。
京公网安备11010202000001号
