这项由清华大学、榆林大学、百度、同济大学和北京大学结合发展的钻研 ，于2026年6月颁发在arXiv预印本平台 ，论文编号为arXiv:2606.01528v1。感兴致的读者可通过该编号在arXiv上查阅齐全论文。
你有没有观察过一个幼孩第一次进入游乐场的样子？他会先四处张望 ，而后跑向最显眼的滑梯 ，玩了几次之后 ，起头尝试旁边的秋千 ，再后来发现角落里藏着一个沙坑……他始终记得自己玩过什么 ，所以能不休向新的处所迈进。整个过程既不必要父母通知他该玩什么 ，也不必要任何嘉奖 ，只是单纯地被"还没见过的器材"吸引着。
此刻把这个幼孩代替成一个AI智能体 ，把游乐场代替成一款从未被测试过的手机利用或网页——问题就来了。当前绝大无数AI智能体在这种"自由索求"的场景下阐发得像一个失忆的孩子：它可能一遍又一遍地址统一个按钮 ，齐全不知路自己刚才已经做过同样的事件 ，更无从判断哪些处所还没有被触碰过。这不是由于模型自身不够聪明 ，而是由于它不足一种关键能力——**影象**。
正是为相识决这个底子性的问题 ，来自清华大学、榆林大学、百度、同济大学和北京大学的钻研团队提出了一个全新的框架 ，名为JAMEL（结合智能体影象与索求进建 ，Joint Agent Memory and Exploration Learning）。这个框架的主题思想能够用一句话概括：让影象和索求彼此"喂养"对方 ，形成一个持续进化的良性循环。
在大无数现实利用场景中 ，AI智能体表演的是一个"操作员"的角色：它打开一个网页或利用 ，观察当前屏幕上的内容 ，而后决定下一步做什么——点击哪里、填写什么内容、滑动到哪个方向。这个过程持续几十步甚至几百步。麻烦在于 ，环境是"部门可观测"的 ，也就是说 ，智能体每一步只能看到当前屏幕 ，无法直接看到整个利用的全貌。
这就相当于你被蒙着眼睛游一座迷宫 ，只有在某个地位时 ，眼罩才短暂掀开让你看一眼周围。在这种情况下 ，你能否走出迷宫 ，很大水平上取决于你还记不记得自己去过哪些处所。
现有的AI智能体通常有两种应对方式。第一种是"全记"：把从前所有的操作汗青齐全地塞进输入框 ，让模型每次决策时都能看到齐全纪录。这种步骤的确有效 ，但价值极高。随着索求步骤的增长 ，汗青纪录越来越长 ，处置这些文字（或截图）所亏损的推算资源呈爆炸式增长。贸易关源大模型（如谷歌的Gemini）勉强能接受这种开销 ，但对于通常钻研者或在设备上本地运行的幼模型来说 ，险些是不成能实现的工作。
第二种方式是"裁剪"：只保留最近几步的汗青 ，或者把旧汗青压缩成一段文字提要。这样推算成本降下来了 ，但随之而来的是信息损失。一旦关键的汗青纪录被删掉 ，智能体就起头沉复走过的路 ，索求深度大幅降落。
有了影象 ，智能体能力判断哪些行为已经被尝试过、哪些处所还值得一探；而索求自身 ，刚好又能为影象的训练提供最天然的"教材"。
打个譬喻：你是一位第一次到访某个城市的观光者 ，手边有一本空缺的观光日志（影象�？椋�。每当你去了一个新地址 ，日志里就多了一笔纪录。当你下次出门规划路线时 ，你会翻看日志 ，避开已经去过的处所 ，专门寻找还没打卡的角落。旅途越深刻 ，日志越充实 ，你的决策也越精准。而若是日志底子不起作用（由于你看不懂自己的笔记） ，你就会一次次沉复走统一条街。
在这个框架里 ，关键的洞察是：**当智能体由于做出了新鲜的索求行为而获得嘉奖时 ，这个嘉奖信号就同时通知了影象�？�"什么信息是有效的"**。不必要人为标注每一步的影象应该写什么 ，索求过程自身就在自动天生训练素材。
这种"自食其力"的进建方式还会天然形成一个由易到难的进建曲线。在索求初期 ，轻易点几下都能触发新职能 ，嘉奖信号密集；随着利用的浅层职能被逐步覆盖 ，要获得嘉奖就必须进行更复杂的多步操作 ，模型被迫进建更深层的索求战术。这就像游戏的难度设计：前期关卡单一 ，助你成立基础操作感；后期关卡复杂 ，逼着你把握高级技巧。整个过程无需任何报答设计 ，齐全天然涌现。
第一个�？槭�**汗青压缩器**。它的工作道理能够用"拍快照"来理解。每当智能体实现一步操作（好比点击了某个按钮） ，压缩器就把这一步的屏幕画面和执行的作为打包在一路 ，"消化"成一个极其紧凑的向量——钻研团队把它称为"影象令牌"（memory token）。这就像把一页齐全的日志压缩成一个幼图标 ，图标自身固然看起来很幼 ，但蕴含了这一页的主题要义。整个汗青就由一串这样的幼图标组成 ，数量蹬宗已经走过的步数。
承担这项压缩工作的是一个冻结参数的视觉说话模型（钻研中使用的是阿里巴巴的Qwen3-VL-2B） ，"冻结"意味着它的参数在训练过程中维持不变 ，只起到信息提取的作用 ，不被更新。
第二个�？槭�**决策战术模型**。它接管当前屏幕画面 ，同时还接管来自压缩器的那一串汗青影象图标 ，将二者归并后输出下一步的操作指令。在技术实现上 ，那些影象令牌被一个可进建的线性变换投影到决策模型的"说话空间" ，而后拼接在当前观测的前面 ，作为"软前缀"输入。决策模型自身基于Qwen2.5-VL-7B ，两者计算约9B（90亿）参数 ，因而整个系统被称为JAMEL-9B。
这个设计的精妙之处在于**极致的压缩比**。无论汗青有多长——哪怕已经走了四十九步——送入决策模型的汗青信息始终只是四十九个紧凑向量 ，而不是几十张截图加上几千字的操作纪录。推算成本因而被压缩到一个极低的固定倍数 ，而不是随汗青长度爆炸性增长。
在通常的强化进建场景中 ，这类嘉奖很难界说 ，由于"什么叫新"自身就是个吞吐的概想。钻研团队选择的利用场景——网页利用索求——刚好提供了一个天然精准的怀抱尺度：**代码覆盖率**。
任何一款网页利用在底层都是由JavaScript代码驱动的。每当用户（或智能体）触发某个操作 ，利用的某些代码蹊径就会被执行。通过一种叫做"代码插桩"的技术 ，能够精确纪录哪些代码杏注哪些分支、哪些函数被执行过。一旦某段代码被执行过 ，它就始终被象征为"已覆盖" ，即便下次再触发同样的操作也不会沉复计分。
钻研团队将覆盖的代码行数、分支数、语句数和函数数加总 ，形成一个累积得分C(t)。智能体每实现一步 ，若是这一步让累积得分增长了（也就是触发了之前从未执行过的代码） ，就获得嘉奖值1；不然嘉奖为0。这个机造天然满足"悠久性"要求：一个处所索求过一次之后 ，无论沉复几多次 ，都不再有嘉奖 ，彻底杜绝了"在原地打转刷分"的可能。
尤其值得一提的是 ，这套嘉奖机造齐全不必要人为标注。只有把利用部署到一个带有覆盖率监测工具的浏览器环境（钻研中使用了V8 JavaScript引擎和Istanbul覆盖率汇报器） ，就能全自动地产生训练信号。这大幅降低了数据网络的成本。
钻研团队首先把一个通用大说话模型部署到浏览器环境中 ，让它自由索求各个网页利用。每一步 ，这个"采集模型"城市产生一段推理过程和一个具体操作 ，同时系统纪录下这一步是否触发了新的代码覆盖。
索求是以"会话—场次"的方式组织的：一次齐全会话蕴含多个索求场次 ，每个场次从利用首页启程 ，最多走N步 ，而后浏览器沉置。分歧场次之间 ，代码覆盖的基准线是共享且累积的 ，也就是说 ，越到后面的场次 ，已经被覆盖的代码越多 ，产生嘉奖的难度越高 ，形成那个天然的课程梯度。
数据筛选阶段 ，钻研团队只保留每个场次中"最后一个产生正嘉奖的步骤及其之前的所有步骤"。这样做的逻辑是：一个最终触发了新发现的轨迹 ，其中每一步都值得被进建；而重新到尾没有任何新发现的场次则被直接抛弃。通过这种"回溯接受"的过滤机造 ，每一条保留下来的训练样本都属于真正有效的索求轨迹。
最终 ，团队在ScaleWoB基准测试平台的86个网页利用上 ，网络了2.4万条训练样本 ，涵盖电商、社交媒体、视频、游览物流、办公合作等多个类别。
所有工作的最终检验 ，是在从未见过的利用上进行测试。钻研团队把96个利用分成86个训练集和10个测试集 ，JAMEL齐全在训练集上进建 ，而后直接到测试集上"上岗"。每次评估给智能体50步的预算 ，看它能触发几多新的代码蹊径。
对比的基准线覆盖了两类系统。云端关源模型方面 ，钻研团队把谷歌的Gemini 3.1 Flash-Lite共同ReAct框架（一种让模型边推理边行动的步骤）来运行 ，分为纯文字版（ReAct-text）和附带截图版（ReAct-vision）。这两种方式都保留了齐全的汗青纪录 ，是推算资源亏损最高的基准线。本地开源模型方面 ，对比了MAI-UI（基于阿里Qwen3-VL的8B参数GUI智能体 ，内置设备端/云端路由机造）和Mobile-Agent-v3.5（基于GUI-Owl-1.5的8B参数框架 ，使用滑动窗口压缩汗青并建设Notetaker提要�？椋�。
了局相当令人印象深刻。在50步的会话中 ，ReAct-text均匀堆集19.9分的覆盖嘉奖 ，ReAct-vision达到20.9分 ，而MAI-UI只有8.4分 ，Mobile-Agent-v3.5更低 ，只有5.9分。JAMEL-9B的得分是20.7分 ，以约莫9B的总参数量、齐全开源的模型 ，不仅将其他幼模型甩出一大截 ，还险些追平了使用齐全汗青的大型关源贸易模型。
从嘉奖随功夫增长的曲线来看 ，差距越发直观。MAI-UI和Mobile-Agent-v3.5在约莫20步之后显著起头滞碍 ，曲线趋于平缓；而JAMEL的曲线始终维持不变向上的趋向 ，一向延长到第50步 ，走势与两个ReAct基准线高度沉合。钻研团队以为 ，本地幼模型的滞碍源于它们的汗青压缩战术不成预防线抛弃了关键信息 ，导致智能体在后期逐步"健忘"自己去过哪里 ，釉祓头沉复旧路；而JAMEL通过紧凑但不迷失的潜在影象 ，始终保留着齐全的汗青信息 ，所以没有这个问题。
钻研团队统计了在10个测试利用、每利用50步（计算500步）的评估过程中 ，各步骤亏损的输入token总数。ReAct-text累计亏损约1890万token ，ReAct-vision更高达约2326万token。MAI-UI约298万token ，Mobile-Agent-v3.5约293万token。JAMEL只亏损了约106万token。
换算成倍数关系：MAI-UI和Mobile-Agent-v3.5亏损的token量约为JAMEL的2.81倍和2.76倍 ，而两个ReAct基准线则别离是JAMEL的17.85倍和21.92倍。也就是说 ，JAMEL用不到ReAct-vision二十二分之一的推算开销 ，获得了险些一样的索求成就。每一步均匀只需处置约2122个token ，远低于其他所有规划。
这个效能差距在现实部署中意味着显著的成本节约 ，也意味着JAMEL这样的系统未来齐全可能运行在算力受限的边缘设备上 ，而不用每次都依赖昂贵的云端服务。
在结构档次深的贸易和游览平台上 ，好比唯品会、Expedia和Temu ，JAMEL的嘉奖曲线重新到尾维持持续攀升 ，体现出它在复杂多层界面中逐步深刻的能力。阿里巴巴和淘宝这两个超大型电商平台则出现出另一种模式：曲线中央出现了几次陡升 ，这注明智能体在某个时刻成功"越过"了一个界面�？榈奶烨� ，忽然进入了全新的职能区域 ，一次性触发了大量新代码——这是它真正脱节终部门索求陷阱的证据。
媒体和生涯方式类利用如优酷和Keep的情况则有所分歧。在这些利用中 ，所有步骤的曲线都在约莫20步后趋于平缓。钻研团队以为这不是模型的问题 ，而是这类利用自身可交互职能有限 ，正本就没有那么多新代码蹊径能够触发。所有步骤都较早达到了"索求天花板"。
拼多多是JAMEL遇到挑战最显著的案例。这款利用以极端密集的弹窗和浮层著称 ，智能体时时试图点击布景中看起来能够操作的元素 ，却发现它们被远景弹窗遮住了 ，操作无效 ，陷入一段功夫的"原地徘徊"。这注明当界面设计极度复杂、弹窗叠弹窗时 ，仅靠压缩汗青中的视觉和交互信息 ，依然难以齐全应对这种滋扰。
第一个方向是索求的扩大法规。目前JAMEL通过监督微调（仿照优质索求轨迹）来进建 ，下一步能够引入强化进建 ，直接以别致度嘉奖作为优化指标。加之别致度嘉奖内置了由易到难的课程 ，从浅层索求到深层多步索求的过渡是天然产生的 ，这让强化进建训练比通常情况下越发不变。此表 ，随着模型参数规模增大、训练数据增多、索求步数加深 ，整个系统的能力上限若何变动 ，仍是一个待解的盛开性问题。
第二个方向被钻研团队称为"先索求 ，后执行"范式。在好多现实场景中 ，用户但愿AI援手实现特定工作 ，好比"助我在这款利用里找到设置说话的处所"。但实现工作的前提是对利用的职能布局有所相识。JAMEL的索求过程刚好能堆集这种"结构性影象"——它索求过的利用在影象�？槔锪粝铝斯赜诶弥澳苌⒉嫉囊街�。若是这份影象可能被后续的工作执行阶段复用 ，智能体就能在面对具体指令时更快找到指标 ，而不用从零起头摸索。这将组成一种"自主堆集经验、按需调取利用"的智能体自进化框架 ，大幅削减对人为标注数据的依赖。
说到底 ，JAMEL做的事件并不复杂：它让AI智能体终于占有了一种能够随着功夫堆集、不会随着汗青增长而爆炸、又能在训练中自动被优化的影象方式。它的主题贡献是证了然一件正本不太显然的事——索求和影象不必要被当作两个独立的问题来解决 ，当你把它们放在一路 ，让索求的了局去训练影象 ，让影象去领导索求 ，整个系统就会自觉地越来越聪明。
这对通常人意味着什么？短期内 ，这类技术可能让AI副手在使用一款新利用时 ，不再必要有人逐步教它怎么操作 ，而是能自己摸索出利用的职能散布 ，而后在你提出具体需要时精准地助你实现。长远来看 ，"自主索求陌生环境、堆集经验、按需调取"的能力 ，是通向真正自适应AI智能体的沉要一步。
A：通常文字提要是把汗青操作压缩成人能读懂的句子 ，能够报答查抄和批改 ，但天生和理解提要自身也要亏损推算资源 ，并且提要质量依赖提醒词设计。JAMEL的潜在影象令牌则是一个数学向量 ，没有可读的语义 ，每步汗青都被压缩成固定大幼的向量 ，无论汗青多长 ，送入决策模型的影象始终是等量的向量序列 ，推算开销不随汗青增长而爆炸 ，且整个向量的"内容"是通过索求嘉奖信号端到端自动学出来的 ，不必要报答设计压缩规定。
A：代码覆盖率性质上是网页利用特有的方便前提。论文也指出 ，在其他环境中能够用类似逻辑的代替信号：好比在机械人导航场景中 ，能够用"发现新地址"或"遇到从未见过的物体"来充任别致度信号；在文本游戏中 ，能够用"进入从未接见过的游戏状态"来衡量。主题要求是信号必须拥有悠久性——一旦某个状态被索求过 ，下次再次接见时不能沉新计分 ，不然智能体味反复刷分而不是真正索求新领域。
A：目前JAMEL的尝试是在网页利用环境下进行的 ，使用的是基于浏览器的操作接口（BrowserGym）。对于原生手机利用 ，操作接口和观测大局有所分歧 ，必要对应的适配工作。但钻研团队在论文中提出的"先索求后执行"范式与手机利用场景高度吻合 ，后续很可能会有针敌手机利用的扩大版本。从技术道理上看 ，只有能界说适合手机利用的悠久性别致度信号（如触达新界面、发现新职能入口） ，整个训练框架是能够迁徙的。
法国版《办公室》角色分析同时，字节跳动强调，赛豆不是字节跳动或豆包推出的汽车品牌，字节和赛豆没有股权合作。豆包、火山引擎与汽车行业伙伴的合作，主要是给行业伙伴提供豆包大模型、智能座舱等技术服务，帮助合作伙伴提升车载智能交互体验。建议购房者决策时坚持“三看”原则：一看工作地与5号线沿线匹配度（是否在广西大学站、明秀路站、朝阳广场站辐射圈内）；二看家庭用车需求（若拥有多车，需审慎评估1:0.84车位比的长期压力）；三看长期持有预期（项目价值潜力高达9.54分，但兑现依赖区域产业导入节奏，短期不宜博弈学区溢价）。对于追求“一步到位”的改善客群，则建议将目光转向教育、生态、社区配套更均衡的头部项目。法国版《办公室》角色分析《糖心VlOg》谈到自己的状态时，格德斯表示：“我这个赛季表现不错，现在也很有信心。今年很多事情都进展顺利。接下来我希望尽可能帮助国家队，也希望自己能保持好的状态。但最重要的是球队保持团结和信心，以最好的状态迎接世界杯。”我个人认为，在当前的中国市场，打造一个性能比肩大模型、且在大部分任务上具备强鲁棒性的小模型，比在少数复杂的长程任务上实现一两个点的性能提升，更有实际价值。
20260607 ? 法国版《办公室》角色分析生活在巴塞罗那让我在个人和球员层面都得到了成长，因为在这里很特别。我觉得这两年后，我成为了一个更好的人，从和我一起踢球的队友身上学到了很多。我更懂足球了。XL上级普京重申，俄方愿与乌方在俄美安克雷奇会晤成果基础上以和平方式达成协议，在乌克兰问题上做出妥协，前提是乌克兰也要这么做。俄方还称，泽连斯基如果想要谈判，随时可以来莫斯科谈。
20260607 ? 法国版《办公室》角色分析某种程度上，确实已经有点像日常了。这些年来，我经常站在镜头前。不过像这次这样和GQ一起做时尚拍摄，当然还是会让我特别开心。《失控》BY周沅但曼联对埃德森的未来保持乐观，因为他有良好的性格，经历过挫折才取得成功。2019年，埃德森首次亮相巴西顶级联赛，就遇到母队克鲁塞罗光速滑落。克鲁塞罗也是「外星人」罗纳尔多的母队，他们在2013年和2014年还连续夺冠，但由于挥霍无度和球场丑闻，该队最终跌入巴乙。
京公网安备11010202000001号
