这项由上海交通大学多智能体治理与智能团队（MAGIC尝试室）结合浙江大学、伊利诺伊大学厄巴纳-香槟分校、牛津大学以及上海人为智能尝试室共同实现的钻研 ，颁发于2026年第43届国际机械进建大会（ICML 2026） ，论文编号为arXiv:2606.02470 。有兴致深刻相识的读者可通过该编号查问齐全论文 。
你有没有想过 ，让AI助你治理日常的飞书日历、给幼红书发帖、在Slack里给同事发新闻 ，听起来应该不难吧？终于这些AI已经能写诗、编程、解数学题了 ，处置这点"幼事"应该手到擒来 。然而这项钻研给出了一个让人意表的答案：即就是目前全球最顶尖的AI模型 ，在面对这类"幼我账号治理"工作时 ，正确率普遍不超过50% ，并且相当一部门工作险些齐全失败 。
这背后到底产生了什么？钻研团队构建了一套名为MCP-Persona的测试平台 ，专门用来检验AI副手在真实幼我利用场景中的现实阐发 。这不是那种让AI在网上搜索信息的单一考试 ，而是仿照真实的"你把自己的账号交给AI治理"的场景——AI必要在你的飞书里创建会议 ，在你的幼红书里发内容 ，在你的Slack频路里@同事 ，同时还得弄明显谁是谁、谁的ID是什么、哪个日历是主日历 。钻研了局清澈地揭示了当前AI副手在个性化工具使用上的真实短板 ，也为未来的改进指了然方向 。
要理解这项钻研解决的是什么问题 ，能够先设想这样一个场景：你雇了一个刚入职的助理 ，第一天就让他助你铺排飞书会议、通知群里的同事、更新Notion笔记本里的项目打算 。这个助理智商很高 ，能记住复杂的会议议程 ，但他不知路你飞书里哪个日历是主日历 ，不知路"幼李"在飞书里的用户ID是什么 ，也不知路你的幼红书账号发帖时用的是哪个标签风格 。了局呢？他可能会把会议建在谬误的日历上 ，把新闻发给谬误的人 ，或者索性由于找不到必要的信息而卡住不动 。
这正是当前AI副手面对的困境 。钻研团队把稳到 ，目前学术界对AI工具使用能力的评测 ，根基都集中在"通用信息查问"这类工作上 ，好比让AI搜索气象、查问股票、翻译文字 。这类工作有个共同特点：工具是公开的、无需账号的、与用户幼我信息无关的 。然而现实生涯中 ，人们最但愿AI助忙处置的 ，刚好是那些与幼我账号缜密有关的工作——治理邮件、发社交媒体、协调团队日程 。这类工作有三个主题难点 。
第一个难点是"账号绑定" ，这些工具必须登录特定账号能力使用 ，而每个账号里的数据结构、权限设置、实体关系（好比某个群里有哪些成员）都齐全分歧 ，没有统一的模板可循 。第二个难点是"隐衷壁垒" ，真实的幼我数据无法公开共享受于钻研 ，这让构建一个公开可复现的测试平台变得极作难题 。第三个难点是"环境复杂性" ，这些利用的状态是动态变动的 ，AI执行的每一个操作都可能扭转环境状态 ，后续操作必须依赖前面操作的了局 ，任何一步犯错城市影响整个链条 。
正是这三沉难点叠加 ，导致了一个令人狼狈的钻研空缺：学术界险些没有任何一个像样的测评基准专门针对"幼我账号治理类"AI工作 ，只管这类工作在现实中的需要量巨大 。MCP-Persona就是为了添补这个空缺而诞生的 。
钻研团队面对的主题挑战是：若何在不使用真实用户数据的前提下 ，创建一个足够真切的测试环境来调查AI的真实能力？他们的解决规划是构建一套精密的仿照系统 ，整个系统由三个相互共同的部门组成 ，就像搭建一个精密剧本演出所需的舞台、演员和剧情一样 。
第一部门叫做"工具仿照器"（Tool-Traverse） ，掌管创建虚构版本的真实利用法式工具 。钻研团队首先网络了12个真实的幼我利用MCP服务器 ，涵盖社交媒体（幼红书、Reddit、Instagram）、企业合作平台（飞书Lark、Slack、企业微信WeCom）、内容治理工具（Notion、Obsidian）以及电子邮件服务 ，此表还整合了12个通用信息查问服务器（如高德地图、百度地图、医疗信息查问等） ，共计24个服务器 。
要仿照这些工具 ，团队采取了一个"先索求、再复刻"的战术 。他们首先手动部署真实的利用环境和测试账号 ，由人为标注员机关一批"种子函数挪用"——也就是示例操作指令 ，好比"获取某个飞书日历下的所有事务" 。接着引入了一种受"自我指令"步骤启发的技术（Self-FC） ，让AI模型自动天生更多样化的操作指令 ，既蕴含正常成功的指令 ，也蕴含各类会失败的谬误指令 ，好比类型谬误、短缺必填字段、参数超出领域、参数之间逻辑矛盾等四类典型谬误 。
网络到大量真实操作及其对应响应了局后 ，团队让AI模型分析这些"行为轨迹" ，自动天生Python代码来仿照每个工具的处置逻辑 。这段天生的代码既能正确处置合法要求 ，也能精确复现各类谬误情况下的报错信息 。验证了局批注 ，这套仿照器与真实工具的行为一致率高达94% ，而仅仅依附阅读文德反猜测工具行为的对照步骤 ，一致率只有58% � ；痪浠八� ，光看说明书远不够 ，真正"把工具用一遍"能力理解它的全数脾性 。
第二部门叫做"情境树"（Context-Tree） ，掌管创建每个虚构用户的幼我数据档案 。钻研团队为每个利用法式界说了一套树状的数据结构 ，清澈地描述用户数据的层级关系 。以飞书为例 ，结构是"用户→日历→日程事务" ；以幼红书为例 ，结构是"用户→帖子→评论" ；以Slack为例 ，结构是"用户→频路→新闻" 。
填充这棵树的方式颇为讲求 。对于必要随机ID的字段 ，系统会依照真实体式自动天生 ；对于地名、城市蹬仔限选项的字段 ，从预设列表中抽样 ；对于自由文本字段 ，由AI模型凭据高低文自由天生 ；而对于必要体现真实感的内容性字段（好比幼红书帖子的正文） ，团队直接选取了经过脱敏处置的真实网络内容 。敏感字段如电话号码则全数代替为虚伪数据以� ；ひ� 。这棵情境树不是静态的 ，AI副手执行的每个创建、批改、删除操作城市实时更新树的内容 ，从而真实仿照多轮交互中数据的变动状态 。
第三部门叫做"工作天生器"（Persona-Gen） ，掌管创作真实可信的测试工作 。这是整个系统最考验人为参加的环节 。钻研团队首先通过拓扑采样步骤 ，从工具之间的依赖关系图中筛选出合理的工具挪用链 ，确保每条链满足五个前提：工具之间存在真实的逻辑依赖、链条中至少蕴含一个幼我账号工具、分歧链条之间不沉复、高低游工具的输入输出可能衔接、整体场景切合现实使用逻辑 。
基于这些工具链 ，系统自动天生"原型指令" ，再将情境树中的具体数据值填入 ，得到具体化的工作描述 。接下来是最关键的"吞吐化"处置：刻意删去真实用户在日常对话中不会说出口的参数细节 ，好比用户ID、日历ID这类技术性标识符 。一个真实用户会说"助我给我的上级宋柯发个飞书新闻" ，而不会说"助我挪用im_v1_message_create接口 ，向user_id为o9k5jtwo的用户发送新闻" 。这种"吞吐化"处置仿照了现实中指令的天然性和不齐全性 ，正是AI必要应对的真实挑战 。
最终 ，所有自动天生的工作都经过人为标注员的逐一审核、批改和打磨 ，确保每个工作在逻辑上齐全自洽 ，在难度上足够有挑战性 ，在表白上真实反映用户的日常说话习惯 。经过这路严格的人为关卡 ，共产生173个高质量测试工作 ，均匀每个工作必要挪用多个工具 ，并蕴含若干必要从环境中自主发现的隐性信息 。
测试平台就位后 ，钻研团队约请了超过十款当今最顶尖的AI模型来参与这场查核 ，阵容相当豪华 。贸易关源模型方面 ，GPT-5、Claude-Sonnet-4.5、Claude-Opus-4.1、o4-mini、o3、GPT-4o、Grok-4、Gemini-3-Pro、Gemini-2.5-Pro悉数登场 �？茨Ｐ头矫� ，Qwen3-Max-Latest、Qwen3-235B-A22B、DeepSeek-V3、Qwen3-Coder也一起参加 。每款模型都以一样的工作和工具集中为输入 ，最多允许进行20轮工具挪用来实现工作 。
评分系统分三个维度 。第一个维度是"查抄点正确率" ，将每个工作分化成若干个子指标查抄点 ，由另一个AI模型（GPT-4o）担任裁判 ，对每个查抄点独立打分 ，取均匀值作为工作得分 。第二个维度是"成功率" ，衡量模型得分超过0.8的工作比例 ，能够理解为"根基实现工作"的比率 。第三个维度是"执行正确率" ，直接查抄模型对数据库的现实操作了局——创建了什么、批改了什么、删除了什么——是否切合预期 ，这是最直接、最客观的评价尺度 。
了局令人警醒 。阐发最好的Claude-Sonnet-4.5 ，查抄点正确率是38.66% ，GPT-5以36.99%紧随其后 � ；痪浠八� ，即就是全球最顶尖的AI模型 ，均匀而言也只能正确实现工作中不到四成的指标步骤 。"成功率"这个指标更惨 ，Claude-Sonnet-4.5的成功率是10.40% ，意味着只有约莫极度之一的工作能被齐全地根基实现 。没有任何一个模型的正确率超过50% 。
从工作类型看 ，电子邮件工作是模型阐发相对最好的一类 ，由于邮件的操作逻辑相对单一 ，依赖链条也较短 。社交媒体和企业合作平台的工作则更具挑战性 ，由于涉及跨用户的交互和复杂的实体关系鉴别 。内容治理类工具（Notion、Obsidian）的阐发最差 ，模型在面对长篇文档的导航和编纂时尤为吃力 。
跨利用工作（Cross-Server Tasks）的难度进一步升级：必要同时操作飞书和幼红书的工作 ，或者必要将高德地图的路线信息写入Obsidian笔记再通知Slack频路的复合工作 ，对所有模型都是严格考验 。其中"杂烩"场景（肆意组合多个利用的工作）是最难的一类 ，险些所有模型在这里都跌入低谷 。
通过度析大量失败案例 ，钻研团队总结出三种反复出现的典型失败模式 ，每种模式都揭示了AI在个性化工具使用上的特定短板 。
第一种失败模式叫"浅尝辄止 ，不深挖环境" 。很多工作中 ，用户的指令并不会把所有必要信息说明显 ，AI必要自动去索求环境中已有的数据来补全这些信息 。但尝试中大量的弱模型选择了"就近解决"的战术——凭据表表指令天生一个看起来合理但现实上谬误的操作 ，而后就此收手 ，底子不去验证缺失的信息是否能够从环境中找到 。
一个典型例子是：工作要求"给我的上级宋柯发一条飞书新闻 ，诠释我的告假原因" ，同时环境数据中存储着宋柯的飞书用户ID（o9k5jtwo） 。弱模型的做法是：绕过飞书 ，直接发了一条企业微信新闻 ，收件人还是凭空凭空的——工作表表上"实现"了 ，现实上平台错了、收件人也错了 ，彻底失败 。正确的做法应该是：先挪用工具查问飞书的联系人列表 ，找到宋柯对应的ID ，再挪用飞书新闻发送接口 。
第二种失败模式叫"跳过隐含的前置步骤" 。飞书的很多操作必要吓酌手机号查找用户的平台内部ID ，再用这个ID来执行具体操作 。正确的工作流程是两步：先挪用user_batchGetId工具把手机号转成用户ID ，再把这个ID传给calendarEvent_create工具来创建日程并指定主持人 。但很多模型会跳过第一步 ，直接把手机号当成用户ID填进去 ，或者索性伪造一个ID ，了局要么报错 ，要么在没有谬误提醒的情况下静默失败——最糟糕的情况 ，由于没有报错 ，模型甚至不知路自己已经失败了 。
第三种失败模式叫"高低文越长越迷糊" 。情境树设计确保了AI在与各个工具交互时 ，高低文中会堆集越来越多的信息 。某些工具（好比本地文档阅读器）返回的内容自身就相当冗长 ，进一步撑大了整个对话窗口 。随着轮次推动 ，模型确把稳力起头分散 ，越来越难以正确回顾早期对话中的关键信息和约束前提 ，最终连一些本应单一的步骤也起头犯错 。这揭示了一个当前大说话模型普遍存在的弱点：在超长对话中维持高度精准的前后一致性 ，依然是未被很好解决的难题 。
其中一组尝试专门钻研"技术文档"的成效 。在现实的AI副手生态中 ，用户能够给AI建设针对特定利用的操作手册 ，通知它这个利用有哪些工具、各个参数是什么寓意、典型的操作流程是什么 。钻研团队测试了三种情况：不提供任何手册、提供从社区平台ClawHub下载的最盛行公共技术文档、以及提供由钻研人员手动精心编写的专属指南 。
结论是：有手册比没手册好 ，精心编写的手册比轻易下载的公共手册更有效 。以GPT-5在飞书工作上的阐发为例 ，没有手册时查抄点正确率是37.5% ，用公共手册是42.5% ，用精心编写的手册则达到45% 。但即便如此 ，这个提升也相当有限 ，距离"令人中意"还差得很远 。钻研团队分析指出 ，公共平台上的技术文档质量参差不齐 ，有些内容已经过期 ，描述的接口参数不再与当前版本匹配 ，反而可能误导模型 。
另一组尝试钻研"工具数量"对阐发的影响 。给模型提供整个平台的140个工具 ，还是只给出当前工作现实必要用到的少量工具？了局显示 ，工具越少 ，模型阐发反而越好 ，尤其是在必要处置更长高低文的工作中这种趋向更显著 。这注明工具过多会对模型造成认知职守 ，在大量不有关工具中找到正确工具自身就是一项挑战 。
还有一组尝试钻研"滋扰信息"的影响 。在提供给模型的高低文中额表参与五段与工作无关的文字段落（来自维基百科描述等文本库） ，了局大无数模型的阐发都有肯定水平的下滑 。这批注模型在信息筛选能力上存在显著短板 ，容易被无关信息滋扰判断 。
一项测评钻研还必要回覆一个元问题：评价尺度自身靠得住吗？钻研团队请人类专家对所有173个工作的970个查抄点了局进行了独立评价 ，并与AI裁判（GPT-4o）的评分进行对比分析 。
了局显示 ，人类与AI裁判的整体一致率高达91.55% 。分工作类别看 ，长文档工作（Lark Long、Obsidian Long）的一致率略低于短工作 ，电子邮件工作的一致率相对较低（13.73%的吩扃率） 。不一致的情况重要来自两个原因：其一 ，AI裁判在涉及复杂逻辑或轻微语境的判断上偶然力不从心 ，这属于模型能力自身的局限 ；其二 ，AI裁判有时会由于模型使用了分歧于参考答案的工具（但最终了局正确）而过于严格地扣分 。总体而言 ，这套评测系统的靠得住性得到了初步验证 ，但钻研团队也恳切地指出了其存在的局限性 ，以供后续钻研改进参考 。
在效能与成本分析上 ，钻研团队也给出了有价值的发现 。分歧模型在实现一致难度工作时 ，亏损的token数量（可理解为"思虑量"）和产生的挪用成本差距悬殊 。GPT-5在效能上阐发凸起 ，均匀每个工作破费约0.09美元 ，查抄点正确率达到36.99% ，性价比在所有测试模型中最为杰出 。钻研结论是：单纯堆砌推算资源并不用然带来更好的了局 ，在AI工具选型时 ，正确率与成本的综合衡量比单纯钻营"烧最多钱的模型"更为沉要 。
说到底 ，这项钻研揭示的不仅是技术层面的能力差距 ，更是当前AI发展阶段与用户真实进展之间的天堑 。人们等待AI可能真正融入幼我数字生涯 ，助忙治理那些散落在飞书、幼红书、Slack、Notion中的日常事务 ，但现实是 ，即便最壮大的模型 ，在面对"你把账号交给我、我助你打理"这种场景时 ，依然会频仍地找不到正确的人、用错平台、遗漏关键步骤 。
这不是对AI能力的否定 ，而是对"还差在哪里"的精准定位 。MCP-Persona提供的是一个可复现、� ；ひ浴⒏哺嵌嗬嗾媸道玫某叨然馐曰肪� ，让钻研者可能明显地看到分歧模型的具体短板 ，并针对性地加以改进 。下一步 ，若何让AI学会自动索求环境、补全用户遗漏的细节、在多工具合作中维持长程一致性 ，将是这一领域最值得攻克的方向 。
A：MCP-Persona通过三套系统协同工作 。工具仿照器方面 ，钻研团队现实运行了真实利用的API ，网络大量真实操作纪录 ，再让AI天生Python代码来复刻工具逻辑 ，正确率达到94% 。情境树方面 ，团队依照真实利用的数据结构天生虚构用户数据 ，其中文本内容部门来自脱敏的真实网络内容 ，敏感字段全数代替为虚伪数据 。这两套机造结合 ，既保障了环境的真实感 ，又齐全预防了真实隐衷数据的使用 。
A：在MCP-Persona的测评了局中 ，飞书（Lark）工作和幼红书（Rednote）工作都属于难度较高的类别 。飞书工作的重要挑战在于必要先通过手机号查问用户的平台内部ID能力执行操作 ，好多模型会跳过这个步骤直接失败 。幼红书工作难在内容操作涉及复杂的账号状态判断 。阐发最好的模型Claude-Sonnet-4.5在飞书工作上的正确率约为40% ，在幼红书工作上约为42% ，整体仍处于较低程度 。
A：有成果 ，但提升幅杜仔限 。以GPT-5在飞书工作上的测试为例 ，不提供手册时正确率约37.5% ，使用社区公开手册提升到约42.5% ，使用钻研团队精心编写的手册则达到约45% 。提升存在但并不显著 ，原因在于公开平台上的手册质量参差不齐 ，部门内容已过期 ，甚至会误导模型 。钻研结论是 ，高质量、与工作高度对齐的专属操作指南比轻易下载的公共资源更有价值 。
《饥饿的女儿》无论是偏知性的通勤穿搭，还是夏天换成贴身字母T恤，它都能搞定。如果度假或者有约会安排，用它配裙子，水波纹纹理能让整套搭配更有浪漫风情。▼莱奥、B费立刻冲上去，为坎塞洛出头。智利这边，罗曼等人也加入到战斗，双方球员互相推搡，情绪激动。在此过程中，莱奥和罗曼的冲突最为激烈。莱奥掌掴了罗曼，而罗曼也愤怒地连续推着莱奥。《饥饿的女儿》《麻花天美星空传媒是私企还是私企》未来几个月，我们将组织一系列讨论，让政策制定者、研究人员、公民社会以及其他 AI 公司，一起回答本文提出的一些问题，尤其是关于完全递归式自我改进，以及如何为协调与审议创造更好选项的问题。我们也会把这些讨论的成果发布出来。现在，正是一起研究这些问题的窗口期，而 AI 公司之外的人，也应当被纳入这场讨论。上海交通大学人工智能学院执行院长王延峰指出，当下的科技工作者正在面临一种前所未有的身份悖论：他们既是人工智能技术的创造者，也可能成为被技术“复制”甚至替代的对象。“美国一些顶尖的科技公司正在通过‘蒸馏’算法，拿科研人员所有的思考和工作文档来训练AI，再用训练好的AI逐步替代算法工程师。”
20260609 ? 《饥饿的女儿》约旦足协确认，20岁前锋易卜拉欣-萨卜拉在训练中遭遇左脚踝韧带撕裂，将无缘即将在北美举行的世界杯。这名萨格勒布火车头前锋近期刚刚进入约旦成年国家队。恋恋洗衣店第二季布鲁诺，你好，作为在看台和电视机前的球迷，大家总是会觉得国家队在首战之前似乎还缺了那么一点点火候，或者说还没达到最完美的巅峰状态，作为身处其中的核心球员，你现在的真实感觉是什么？
20260609 ? 《饥饿的女儿》34岁的米德尔顿今夏成为完全自由球员，他在2025-26赛季场均仅得到10分3.3篮板2.2助攻。米德尔顿与字母哥昔日在雄鹿搭档多年，并且在2021年两人率领雄鹿夺冠。《动漫《瞒着老婆去漫展》日语版百度》· 话剧代表作：《立秋》中饰演许凌翔、《元朝帝师八思巴》中饰演八思巴、《活寡》中饰演老大、《迷雾人生》中饰演尤金·奥尼尔、《天职》中饰演王浩等；
京公网安备11010202000001号
