这项由香港城市大学与快手技术Kling团队结合实现的钻研
，颁发于2026年6月
，论文编号为arXiv:2606.02564
，有兴致深刻相识的读者能够通过该编号查问齐全论文。 先从一个场景说起。如果你给一个极度严害的画家出了路谜题：把一个紫色圆球沿沉迷宫蹊径移动到绿色终点
，路上不能穿越墙壁。这位画家画功一流
，每一幅单独的画面都美得令人叫绝——但他从来没学过迷宫规定。了局呢？他画出的陆续画面里
，紫色球走着走着就穿墙而过
，或者索性隐没了
，又或者到了最后停在了一个齐全谬误的处所�
；�面美丽
，但底子没按规定走。 这刚好是当前最先进的视频天生模型（能够理解为"AI视频画家"）面对的主题困境。这些模型经过海量训练
，能天生画质优美、时序连贯的视频
，但它们的"优化指标"从来都是"让画面好看"
，而不是"让逻辑正确"。因而在一些必要遵守规定的推理工作里——好比把彩色方块移动到对应色彩的指标地位
，或者在不违反规定的前提下还原一张异常图片——这些模型时时天生视觉上流畅却逻辑上缝隙百出的视频。 这个问题催生了一个很有意思的新钻研方向
，叫做"用视坡反推理"。主题思路是：既然大说话模型能够用文字一步一步推理
，视频天生模型能不能用一帧一帧的画面来推理呢？每一帧画面就像推理链条上的一个节点
，整个视频就是一条齐全的视觉推理轨迹。这个方向的确很有潜力
，但问题依然存在——AI画家不懂规定
，那怎么办？ 第一种思路叫"最优样本筛选"
，也就是让画家多画几遍
，而后挑最好的那张。具体做法是同时天生好几个版本的视频
，再凭据评分选出最切合要求的那个。这的确能削减一些随机性谬误
，但问题在于：若是画家底子就不理解迷宫规定
，不论画几多遍
，谬误往往是系统性的——每次都在同样的处所穿墙
，再多尝试也杯水车薪。尝试数据也印证了这一点
，多天生几倍的候选视频
，最终得分的提升相当有限
，性价比很低。 第二种思路叫"用说话模型当照拂"
，也就是让一个懂规定、会思虑的"文字AI"（视觉说话模型）先分析标题
，写出一份文字解题规划
，而后把这份规划通报给视频天生模型
，让它按规划去画。理论上听起来不错
，但实际中却遭逢了"翻译失真"的难题。文字描述天然就很难捉拿到那些精妙的空间地位关系——"把蓝色方块向右移动两格"
，在文字里清澈
，但视频模型在执行时往往走样
，要么移错了地位
，要么方块状态变了
，要么过程中出现了奇怪的中央状态。更何况
，若是工作自身就很罕见或者很精密
，说话模型也不定能写出一份真正可执行的规划。 这两条路各自的局限
，让钻研团队意识到：问题的本原不在于"选哪个更好的了局"
，也不在于"怎么把文字规划写得更具体"
，而在于能不能直接在视频天生的过程中注入"逻辑纠错"的力量。 他们把稳到一件事：固然视觉说话模型（那个"懂规定的文字AI"）不长于写出可执行的视频规划
，但它却极度善于看图判断——"这个球有没有穿墙？""最终状态里
，球到了绿色终点吗？""画面里的三个方块
，状态和色彩有没有产生扭转？"对于这类"是不是""对不合"的判断题
，视觉说话模型阐发得相当杰出。 基于这个洞察
，钻研团队提出了一个全新的框架
，起名叫"VLM即老师"（VLM-as-Teacher）。在这个框架里
，视觉说话模型不再掌管写文字规划
，而是担任一位严格的考官：它观察视频天生模型天生的视频
，判断画面是否切合规定
，而后把判断了局转化为一种"纠错信号"
，直接反馈给视频天生模型
，让后者据此调整自己的天生方式。整个过程在每个测试工作中实时产生
，无需提前训练
，属于"临场进建"。 用更直观的迸作来说：以前的做法是考前让语文教员给数学画家写题解（但语文教员写的题解画家底子照不出来）
；此刻的做法是请一位数学教员在画家画的时辰坐在旁边
，不休指出"这里错了""那里对了"
，让画家实时建改。 第一个环节是"出考题"。给定一个视频推理工作（好比迷宫导航）
，视觉说话模型会分析工作描述
，自动天生一组评价尺度
，以问答题的大局出现。这些问题分为两类：一类是"过程监督题"
，查抄视频在中央过程里有没有违规
，好比"紫色球在整个过程中有没有维持齐全、没有割裂或隐没？""紫色球有没有穿过任何一面墙？"另一类是"指标达成题"
，查抄最终了局是否正确
，好比"到视频结尾
，紫色球和绿色方块有没有沉叠在一路？"所有问题都是正向表述的
，正确答案统一是"是的"。 这种设计有个奇妙之处：分歧的工作会自动天生分歧的考题
，而不是用一套通用的抽象尺度去评价所有工作。终于
，迷宫工作的关键规定和色彩排序工作的关键规定齐全分歧
，用统一套"通用问卷"往往抓不住真正的重点。 第二个环节是"在线优化"。视频天生模型（建设了一个叫做LoRA的轻量级"插件�？�"）先急剧天生一个初步的视频预测了局
，而后把这个预测了局交给视觉说话模型考官去回覆那些考题�？脊俑�出回覆后
，系统会推算"考官有多大把握说这些答案是'是'"——把握越低
，注明视频越有问题。这个"把握水平"的倒数就造成了优化信号
，通过数学上的反向传布（能够理解为把"哪里错了"的信息一层一层往回传递）
，专门调整那个轻量级LoRA插件的参数。调整完之后
，视频天生模型再天生一次
，再让考官打分
，再调整
，如此循环。当考官的评分高到肯定水平（也就是对所有考题的"是"答案都有足够把握）
，或者循环次数达到上限
，优化终场
，最终用优化后的模型天生正式的了局视频。 整个过程中
，视频天生模型的原始参数和视觉说话模型的参数都维持不变
，只有那个幼幼的LoRA插件在针对这个特定工作做调整。这意味着每次优化都是高度个性化的——针对这路题
，专门调整
，用完即止
，不影响下一路题。 若是直接按上面的思路实现
，推算量会大得惊人。每一轮优化都必要齐全地天生一个视频
，而后用视觉说话模型逐帧分析
，这在功夫和算力上都难以接受。钻研团队为此设计了三个让整个流程变得现实可行的技巧。 第一个技巧是使用一个简化版的图像解码器来代替正式版本。正式的视频解码器（把模型内部的数字信号转化为肉眼可见画面的工具）极度耗时耗内存
，但在优化阶段
，视觉说话模型其实不必要画质有多美满
，只必要能看清大体结构就够了。因而钻研团队引入了一个轻量级的代替解码器
，速度更快、内存占用更幼
，固然画质差一点
，但丝绝不影响考官的判断正确性（尝试也验证了这一点）。正式输出最终了局的时辰
，再切换回高质量解码器。 第二个技巧是把视频天生模型"蒸馏"成一个只必要四步就能实现的急剧版本
，并且在优化阶段只优化第一步的预测了局。正常的视频天生模型必要经过几十步的迭代能力天生最终画面
，但钻研批注
，推理行为重要在早期步骤就已经确立。经过"蒸馏"的四步急剧模型
，在第一步的预测了局就已经能让考官看出大体的推理走向
，无需走齐全数四步。这大大削减了每轮优化的推算量。 第三个技巧是用损失致反决定何时终场优化。当考官对所有问题的"是"答案都有足够高的把握时（损失值降到阈值以下）
，系统就自动终场
，不再持续优化。这预防了过杜着化——优化太多步反而可能让模型"钻空子"
，在评分上阐发不错但现实视频质量反而降落。尝试显示
，均匀只必要16步优化就能达到最佳成效
，再往后的边际收益迅速缩幼。 钻研团队用两个专门评测视频推理能力的基准来检验这套规划。第一个叫VBVR-Bench
，专一于符号视觉推理
，涵盖五大类能力：抽象推理、知识使用、感知判断、空间关系和变换操作。这个基准有明确的尺度答案
，用专门的检测法式来评分
，客观性很强。第二个叫RULER-Bench
，左袒盛开性的通用场景推理
，涵盖人文、科学、如果判断、语义理解、视觉感知等五大类共30个子工作
，用GPT-o3这个壮大的AI来当评委打分。 对比"天生多个候选择优"的步骤（Pass@5
，即天生5个候选选最好的）
，这种步骤在VBVR-Bench上只能提升0.017
，在RULER-Bench上提升2.7分。而对比"用说话模型优化提醒词"的步骤（VideoTPO）
，在VBVR-Bench上不升反降
，得分反而降落了0.032
；在RULER-Bench上固然有3.9分的提升
，但相比基线的提升幅度依然有限
，并且在30个子工作里
，有4个工作的得分反而更低了。 这套新步骤令在VBVR-Bench上把得分从0.666直接提升到0.781
，整体提升0.115
，并且在域内工作和域表工作上都有一致的提升。在RULER-Bench上更是从46.4跃升至68.2
，提升了整整21.8分
，并且在全数30个子工作里无一例表地获得了提升。两个基准综合下来的均匀提升幅度达到16.7分
，远超其他所有对譬喻法
，并且所用的推算功夫与"天生5个候选"规划相当。 钻研团队还做了大量的消融尝试
，也就是把步骤里的每个组成部门逐一"拆除"
，看看少了哪块会损失几多
，从而验证每个设计决策的必要性。 关于优化步数的尝试清澈展示了一条先升后平再微降的曲线：从0步到16步
，得分稳步从0.666升至0.781
；从16步到20步
，仅再提升0.002
；持续到40步
，得分反而微降至0.778。这注明过多优化会让模型过于"投合考官"
，反而带来视觉上的退化。共同早�
；�造
，现实均匀只需16步就能达到最佳状态。 关于嘉奖设计
，钻研团队别离测试了只去掉"指标达成问题"和只去掉"过程监督问题"两种变体。去掉过程监督后
，得分从0.781降至0.758
；而去掉指标达成问题后
，得分大幅降至0.692。两者缺一城市造成损失
，但指标达成问题的影响更大。定性尝试也提供了直观诠释：在方块移动工作里
，去掉指标达成问题后
，模型会很好地维持方块的表观
，但就是不把方块移到正确地位
；而在蜗牛移动工作里
，去掉过程监督问题后
，模型为了让蜗牛"达到指标区域"走了一条捷径——让一只手伸进来放了另一只蜗牛
，而不是移动原来那只。两类监督相辅相成
，缺任何一类城市导致逻辑缝隙。 钻研团队还测试了用"通用问题"代替"工作特定问题"的成效：把每次针对工作自动天生的具体考题
，代替成"这个工作的指标有没有达成"和"过程有没有违规"这两个抽象的通用问题
，得分从0.781降至0.712。这注明考题必要针对每个具体工作量身定造
，抽象的通用尺度底子抓不住各类工作的关键重点。 关于使用视觉说话模型在推理阶段直接优化与用它做离线后训练的对比
，尝试同样很有说服力：若是改成吓酌视觉说话模型的反馈在训练阶段调整模型
，而后直接推理
，得分仅为0.688
；若是用非可微分的强化进建方式做后训练
，得分为0.681
；只有实时在线优化的方式才达到了0.781的最高水平。这批凝视频推理工作必要针对每个具体事俘的个性化适应
，而不是一次性的通用训练。 一个步骤的价值
，不仅在于它在尺度配置下阐发多好
，更在于它换了分歧的零件之后还能不能不变工作。钻研团队用分歧的视觉说话模型和分歧的视频天生模型别离做了验证。 在视觉说话模型的选择上
，用InternVL3-8B代替默认的Qwen3-VL-4B
，RULER-Bench得分为68.1
，险些吃旖
；换成更强的Qwen3-VL-8B
，得分进一步提升到69.2。并且钻研团队发现
，视觉说话模型在Video-MME这个视坡讽解测评上的得分越高
，在RULER-Bench上带来的提升就越大
，两者之间有相当强的正有关关系（有关系数平方R?=0.733）�
；痪浠八�
，"监考教员"越严害
，学生进取越显著——这个直觉上合理的关系得到了数据支持。 在视频天生模型的选择上
，把Wan2.2-5B代替为更幼的HunyuanVideo-1.5B（一个更轻量级的视频天生模型）
，基线得分只有35.8
，但加上这套优化框架后
，得分提升到了44.5
，提升幅度依然可观。这注明这套框架不依赖于特定的视频天生模型架构
，拥有较好的迁徙性。 论文专门分析了步骤失效的情况
，这是一个可贵的恳切。钻研团队手动标注了50个失败案例
，发显熹中84%（42个）的失败来自视觉说话模型的感知谬误
，只有16%（8个）来自考题自身的设计谬误。 在Raven渐进矩阵（一种类似图形法规判断题的工作）的失败案例里
，视觉说话模型误判了正确答案应该是什么状态
，天生了一个谬误的指标考题
，了局优化方向从一路头就跑偏了——哪怕视频真的满足了这个谬误考题的要求
，也得不到正确答案。这属于"考题犯错"类失败。 在铅笔变色工作里
，铅笔的色彩其实只有一幼块区域没有齐全造成红色
，视觉说话模型在查抄时漏掉了这个细节
，误以为已经齐全变好了
，因而提前终场了优化。铅笔最终带着一点点残存的色彩谬误被输出了。这属于"感知精度不及"类失败。 这两类失败指向了明确的改进方向：一是必要一个机造来验证自动天生的考题是否正确
，二是必要引入感知精度更高的视觉说话模型来充任监考教员
，尤其是对细粒度视觉变动的判断能力要更强。 归根结底
，这项钻研揭示了一个很有意思的方向：让一个"懂规定但不会画"的AI来监督一个"会画但不懂规定"的AI
，在推理时实时纠偏
，成效远比单独依赖任何一方要好得多。视觉说话模型和视频天生模型之间
，并不是代替关系
，而是能够形成一种互补的"讲授关系"——一个掌治理解和评价
，一个掌管天生和执行。把这两种能力组合起来
，能力让"用视坡反推理"这个方向走得更远。 未来或许还有好多能够索求的处所：能不能让考题天生更靠得住
，能不能引入更精密的视觉反馈
，能不能让这套框架迁徙到更多类型的视频推理工作。这个领域还很年轻
，但这项工作为它搭建了一个很清澈的思路框架。对这些问题感兴致的读者
，能够通过arXiv编号2606.02564找到齐全论文
，深刻相始�扛黾际跸附�。 A：说话模型写提醒词的方式（VLM-as-Solver）依赖文字描述来领导视频天生
，但视频模型往往无法把详细的文字指令转化为正确的视觉作为。VLM-as-Teacher则齐全不靠文字规划
，而是让说话模型直接"看视频、打分、纠错"
，把评价了局转化为数学信号反向传给视频模型
，让它在天生过程中实时建改。性质区别在于：一个是"通知你怎么做"
，另一个是"看着你做、随时纠正"。 A：LoRA是一种轻量级的"插件�？�"
，能够理解为给视频天生模型套上的一个幼型适配器。只调整LoRA而不动原始模型
，一是由于LoRA参数量极幼
，推算成本低
，适合实时优化
；二是由于分歧工作必要分歧的适配
，原始模型的通用能力必要保留
，只让插件做工作专属的微调
，用完即止
，不会影响模型处置其他工作的能力。 A：VBVR-Bench重要考验结构化的符号推理
，好比空间移动、图形变换这类有明确规定和尺度答案的工作
；RULER-Bench则左袒盛开性的通用场景推理
，涵盖科学、人文、视觉感知等多种类型。VLM-as-Teacher在两个基准上都有显著提升
，但在RULER-Bench上提升更大（21.8分对比0.017）
，尤其在色彩、计数、方向、异常检测等必要精确视觉执行的工作上提升最为凸起。