CVPR的自动驾驶分论坛（Workshop on Autonomous Driving），积年都是业内极具影响力的技术风向标和盛会。好比2022年的WAD，Wayve初次披露了自己低传感器端到端路线规划，顿时成为自动驾驶赛路炙手可热的明星公司
；再好比，特斯拉最早在CVPR WAD上具体分享了占用网络技术，随后成为业内悉数跟进的量产规划…… 幼鹏在演讲前一天，刚刚开启了最新SUVG7的预售，创造了量产L3级AI算力第一车的纪录，单车算力超过2200TOPS，何幼鹏将G7界说为“真正的AI汽车”。 先看尝试了局。几个月前，幼鹏汽车在后装算力的车端部署了新一代自动驾驶基座模型，实现了无任何规定代码托底情况下，基座模型直接控车并安全实现一系列驾驶工作。 整个自动驾驶系统全流程模型化，其实就是马斯克宣讲多年的AI司机，其最沉要的特点是展示出对环境、路况的全局理解和思虑。 好比这个场景下，直行路上，先是前方大车切出后，而后又看到了里边临停车，但系统全程没有任何“垂危避险”的行动，而是从容有序的减速绕行，丝滑通过场景： 再好比雨天的窄路弯路，路路一侧已经被各类违停车占满，前进途中又突遇一时高低客的网约车，系统没有丝毫犹豫，直接提议绕行： 目前市面上险些所有量产智能辅助驾驶，一旦周围指标的距离、速度相对本车达到肯定区间（好比忽然汇入的大车、迎面而来的电驴，极端狭幼的路路空间等），必然首先触发垂危刹车，车内乘员一顿前俯后仰之后，可能依然必要收受…… 至于一些极端场景，是这些传统规划很容易“宕机摆烂”的。好比这个位于内江的路口，马路对面的主干路上有两棵大树伫立，车路竟然就在这两棵大树之间……不是本地司机，可能底子搞不领略该怎么走。 但幼鹏的系统竟能正确辨识出车路，顺利通过。这对目前的量产系统来说属于“惊喜”，对于今后要上车的下一代模型来说就是“基操”。 现阶段主流的“车端模型”，其实主体就是端到端算法，从传感器取数据，而后输前途线规划，通常还会有一些强造规定安全兜底。 但幼鹏以为，这种传统模式只管肯定水平上AI化了，但端到端性质依然是“幼脑”，对输入的路路信息做出的反映是被动式、前提反射式的关键这种“前提反射”还是黑盒，过程难以把握 其实也是L4玩家质疑L2路线的主题凭据：不会思虑的模型，数据量再大也只能仿照人类行为，无法真正超过人类达到“自动驾驶”的层级。 幼鹏以为问题出在了现行的技术规划上：只局限在车端算力的一亩三分地，模型大幼是受限的，能真正消化的数据也是受限的。 VLA，全称Vision-Language-Action，通常同时蕴含视觉编码器、说话编码器、跨模态融合�？椤⒆魑�天生�？�，能同时理解视觉图像、天然说话，并天生作为节造指令的AI模型架构。 2023年谷歌Robotics团队的RT-1打响VLA第一枪，用人类操作示范构建多模态训练集，以图像、说话指令和陆续节造信号作为输入，训练机械人理解说话并直接输出作为。后续RT-2又把CLIP等视觉说话基础模型引入节造流程中，根基奠定了“图像+说话+作为”统一建模的VLA基线，成为具身智能和自动驾驶的新但愿。 VLA出格之处在于，不再是分�？椤案髯晕�政”，而是通过成立视觉信号、说话指令与物理作为之间的关联映射，实现环境理解到行为输出的关环决策。 单一说，从前一个工作必要别离训练图像鉴别模型、语义理解模型、节造战术模型
；而此刻，VLA一个模型就能从图片和说话钟装看懂工作”，并“着手实现”。 基座模型实现预训练、监督精调（SFT）之后，就进入强化训练阶段。强化进建是幼鹏基模训练最大的特点，也是模型能力的隐形护城河。 幼鹏自研开发的强化进建嘉奖模型重要从三个方向上去引发基模潜能：安全、效能、合规。现实上也是人类驾驶行为中的几个主题准则。 好比遇到不意识的阻碍物要绕行是为了安全、路上遇到出格慢的车当令变路超车是为了通畅效能、依照红绿灯车路线路路标牌的批示开车是为了合规……. 但刘先明以为自动驾驶的世界模型远远不是今天的“仿真建模”，它应该是一种实时建模和反馈系统，可能基于作为信号仿照真实环境状态，渲染场景，更沉要的是，能天生场景内其他智能体（也即交通参加者）的响应，也就是说，所有智能体都不是NPC，都必要通过跟其他智能体的交互产生博弈行为。这样的世界模型，才算得上一个关环的反馈网络。 最后，云端模型将通过知识蒸馏方式出产幼尺寸模型，部署到车端，成为“AI汽车”全新的大脑。模型在车端部署之后，持续获取新的驾驶数据和用户反馈，又能持续用于云端基模的训练，让基模不休迭代。这个过程被幼鹏汽车称为持续在线进建（Online Learning），由VLA和OL组成的这套技术架构，将让基模常训常新。 目前基座模型累计吃下了2000多万条视频片段（每条时长30秒）。在不休扩大训练数据量的过程中，研发团队同样清澈地看到了规模法令（Scaling Law）的显露： 而要想把大模型的能力尽可能一连到车端相对较幼的模型上，知识蒸馏是目前最好的步骤。这比直接训练一个车端幼模型更难，但上限也更高 由于模型参数的利用率是有限的，云端有更多的数据，能学到更多的器材，智能涌现效应更强。再蒸馏到车端的幼模型上，能够让幼模型有更强的阐发。 另表，自动驾驶自身具佑装多模态”或者说“多解输出”的特点，容易遇到“模态不统一”的困境。意思是统一个驾驶场景可能会有多种蹊径选择，并且它们都是对的。当模型使用的数据量增大，就会出现越来越多的“类似场景，多种解法”的训练数据，对于参数量不及（智商不及）的幼模型来说，可行解法越来越多，可能造成模型的confusion，导致模态坍塌。因而，直接训练车端幼模型，现实上并不能通过数据的增长实现scaling law。 另表刚刚提到的强化进建步骤，同样也是模型越大成效越好。更大的云端模型后训练，再向车端幼模型去蒸馏，得到的了局，比直接车端的幼模型做强化训练要好得多。 首先是云端，开发拥有普遍认知能力的超大规模多模态模型作为基座模型。并且为此起头储蓄超等推算集群，目前已达10 EFLOPS，集群运行效能终年维持在90%以上，全链路迭代周期可达均匀5天一次。 因而，超大算力、大模型针对性优化的推算芯片就成了必须——幼鹏历时5年自研的图灵AI芯片的，“1颗顶3颗”，单颗有效算力相当于3颗主流芯片。 幼鹏汽车CEO何幼鹏称：VLM是车辆理解世界的大脑，从前我们使用语音、触屏、按键来操控汽车。而不久之后，VLM将代替彻底取代这些操控伎俩，成为人和汽车对话操控的新一代入口。 车端的VLA-OL模型，则给智能辅助驾驶增长「活动型大脑」，还进一步加强了「幼脑能力」同时具备持续强化进建能力，未来进化到自主强化进建，让大模型持续进化。 何幼鹏坚信，这条路线不仅是幼鹏下一阶段增长引擎，更是对现行所有量产L2路线的突破，也是自动驾驶和具身智能大一统的初步。 L4和L2都在堆算力。好比幼马智杏注百度Apollo、文远知行等头部Robotaxi玩家，单车算力也都超过了1000TOPS
；蕴含幼鹏在内，温反、梦想、极氪等等新车，也都把算力数值堆到了“千TOPS」剽个级别。 L4堡垒的大佬，从前常嘲讽质疑智能辅助驾驶，以为两个技术系统有不成逾越的天堑，凭据就是L2太依赖端到端，而端到端的性质是仿照，但数据起源（即人类司机）的上限始终不成突破，下限始终不成预测。 而幼鹏的新技术路线，第一次从技术层面回应了“端到端只能仿照不能超过”的问题：跳出数据局限性的叙事，从AI性质启程，打造一个有齐全认知能力和活动规划协调能力的“大脑”。 这套规划中，关于“上限”问题的回覆是模型自身的超大参数规模带来的能力跃升，关于“下限”问题的答案，同样是超大规模模型对强化进建的杰出反馈。 何幼鹏自述在自动驾驶和机械人研发过程中天然而然堆集的这样的认知，因而起头自动布局有齐全认知能力的世界模型
；以及从5年前就起头开发储蓄云端算力储蓄，图灵AI芯片、自动驾驶基座模型等等。