蔡志鹏博士（https://zhipengcai.github.io/）是美国 Meta 公司的高级钻研员，博士毕业于澳大利亚阿德莱德大学。他的钻研重要集中在 Physical Intelligence，蕴含三维视觉、多模态大模型等。他的工作已在领域顶级会议杂志上颁发超过 20 篇。其中 10 篇文章被选为顶级会议口头或特邀汇报，对鲁棒估计推算复杂度的理论证明工作被选为 ECCV18 12 篇最佳论文之一。 Meta 颁布了一项令人震撼的钻研工作 VLM?，初次揭示了三维视觉进建的 Bitter Lesson：尺度的视觉说话模型 + scale 数据就是最单一有效的范式，针对特定工作的架构、损失函数以及数据加强的设计，甚至是 regression 的 formulation，均不是三维视觉进建的必要前提。 当前的视觉说话 AI 模型（Vision Language Models, VLMs）通过统一的模型架构可能矫捷处置各类分歧的视觉工作。然而，只管在语义理解、视觉问答、图像指令等工作上阐发优异，它们在三维视觉方面依然阐发欠安。相比之下，专家视觉模型（expert vision models）在绝对深度估计（metric depth estimation）等三维理解工作上，凭借专门设计的网络结构、损失函数及数据加强，已经达到了超过人类的精度。 这就带来了一个主题问题：「视觉说话模型是否在三维视觉进建方面无法代替专家模型？」VLM? 初次证了然该问题的答案是否定的！ VLM? 通过极简的设计，在极为多样的三维视觉工作中媲美或超过专家视觉模型，并大幅超过最先进的视觉说话模型：1）在单目深度估计上 match UnidepthV2 及 MoGe2；2）在指标级三维理解工作上超过 SpatialRGPT；3）在像素匹配工作上超过 DKM 和 RoMa；4）在相机姿势估计上 match DA3，超过 VGGT。 VLM? 通过详尽的尝试发现，尺度的 VLM 仅必要 1）相机焦距归一化；2）像素空间归一化，就可能以令人惊叹的简洁方式有效学会各类三维视觉模型，在 1）单目深度估计中 match UniDepthV2 及 MoGe2；2）在指标级别三维理解超过 SpatialRGPT；3）在像素匹配工作上超过 DKM 和 RoMa；4）在相机姿势估计上 match DA3 并超过 VGGT。 和之前的三维视觉 VLM 分歧，VLM? 既不必要扭转 VLM 的架构，也不必要在图片上渲染 marker。相迸宗专家视觉模型必要大量的架构、损失函数及数据加强方面的复杂设计，VLM? 仅必要尺度的 VLM 架构（如 Qwen3-vl-4B）和训练（基于文字的 SFT）就可能在极为多样的三维工作上达到 SOTA。 这种简洁的训练颠覆了之前三维视觉的进建范式，并揭示了三维视觉的 Bitter Lesson：我们其实齐全不必要针对特定三维视觉工作报答设计复杂的架构、损失函数及数据加强。通过单一的视觉说话建模 + scale 数据就可能达到同样的成效，并且于其他非三维视觉工作在统一的说话模型训练框架下齐全兼容。这使得三维视觉不再必要与视觉说话模型的大规模预训练分离，同时我们可能使用同样的方式来实现三维视觉的 scaling law。 同时 VLM? 的成功也意味着三维视觉的进建远比我们设想中的要容易：除开不必要特殊架构、损失函数等，我们甚至能够不依赖回归（regression）来学会 fine-grained 3D understanding，这在之前的工作中是不能思议的，由于在陆续的输出空间进行回归是绝大无数三维视觉模型的主题设计。 VLM? 沉新界说了三维视觉的最佳进建范式：最单一的 generalist 架构如 VLM 及 scaling 就是最通用的三维视觉范式！从前三维视觉领域普遍选取的报答的 task-specific 的设计并非必须。 这将极大水平地简化三维基础模型的构建。通过将三维视觉工作融入视觉说话模型的预训练，我们也能有效地兼容三维视觉与其它视觉工作，并将 VLM 的优势，及矫捷性与泛化性从语义及二维视觉工作有效拓展至三维视觉，极大水平提升模型的能力上限。 VLM? 的出现，初次买通了视觉说话模型与三维视觉之间的壁垒，使得统一的架构就可能简洁地学会各类视觉工作，并达到专家模型的机能。这既是科研层面的里程碑，也为未来在现实系统中统一多模态推理能力提供了可能。我们等待 VLM? 后续在机械人、自动驾驶、加强现实等场景中的落地利用。