这项由上海交通大学多智能体治理与智能团队（MAGIC尝试室）结合浙江大学、伊利诺伊大学厄巴纳-香槟分校、牛津大学以及上海人为智能尝试室共同实现的钻研，颁发于2026年第43届国际机械进建大会（ICML 2026），论文编号为arXiv:2606.02470 。有兴致深刻相识的读者可通过该编号查问齐全论文 。
你有没有想过，让AI助你治理日常的飞书日历、给幼红书发帖、在Slack里给同事发新闻，听起来应该不难吧？终于这些AI已经能写诗、编程、解数学题了，处置这点"幼事"应该手到擒来 。然而这项钻研给出了一个让人意表的答案：即就是目前全球最顶尖的AI模型，在面对这类"幼我账号治理"工作时，正确率普遍不超过50%，并且相当一部门工作险些齐全失败 。
这背后到底产生了什么？钻研团队构建了一套名为MCP-Persona的测试平台，专门用来检验AI副手在真实幼我利用场景中的现实阐发 。这不是那种让AI在网上搜索信息的单一考试，而是仿照真实的"你把自己的账号交给AI治理"的场景——AI必要在你的飞书里创建会议，在你的幼红书里发内容，在你的Slack频路里@同事，同时还得弄明显谁是谁、谁的ID是什么、哪个日历是主日历 。钻研了局清澈地揭示了当前AI副手在个性化工具使用上的真实短板，也为未来的改进指了然方向 。
要理解这项钻研解决的是什么问题，能够先设想这样一个场景：你雇了一个刚入职的助理，第一天就让他助你铺排飞书会议、通知群里的同事、更新Notion笔记本里的项目打算 。这个助理智商很高，能记住复杂的会议议程，但他不知路你飞书里哪个日历是主日历，不知路"幼李"在飞书里的用户ID是什么，也不知路你的幼红书账号发帖时用的是哪个标签风格 。了局呢？他可能会把会议建在谬误的日历上，把新闻发给谬误的人，或者索性由于找不到必要的信息而卡住不动 。
这正是当前AI副手面对的困境 。钻研团队把稳到，目前学术界对AI工具使用能力的评测，根基都集中在"通用信息查问"这类工作上，好比让AI搜索气象、查问股票、翻译文字 。这类工作有个共同特点：工具是公开的、无需账号的、与用户幼我信息无关的 。然而现实生涯中，人们最但愿AI助忙处置的，刚好是那些与幼我账号缜密有关的工作——治理邮件、发社交媒体、协调团队日程 。这类工作有三个主题难点 。
第一个难点是"账号绑定"，这些工具必须登录特定账号能力使用，而每个账号里的数据结构、权限设置、实体关系（好比某个群里有哪些成员）都齐全分歧，没有统一的模板可循 。第二个难点是"隐衷壁垒"，真实的幼我数据无法公开共享受于钻研，这让构建一个公开可复现的测试平台变得极作难题 。第三个难点是"环境复杂性"，这些利用的状态是动态变动的，AI执行的每一个操作都可能扭转环境状态，后续操作必须依赖前面操作的了局，任何一步犯错城市影响整个链条 。
正是这三沉难点叠加，导致了一个令人狼狈的钻研空缺：学术界险些没有任何一个像样的测评基准专门针对"幼我账号治理类"AI工作，只管这类工作在现实中的需要量巨大 。MCP-Persona就是为了添补这个空缺而诞生的 。
钻研团队面对的主题挑战是：若何在不使用真实用户数据的前提下，创建一个足够真切的测试环境来调查AI的真实能力？他们的解决规划是构建一套精密的仿照系统，整个系统由三个相互共同的部门组成，就像搭建一个精密剧本演出所需的舞台、演员和剧情一样 。
第一部门叫做"工具仿照器"（Tool-Traverse），掌管创建虚构版本的真实利用法式工具 。钻研团队首先网络了12个真实的幼我利用MCP服务器，涵盖社交媒体（幼红书、Reddit、Instagram）、企业合作平台（飞书Lark、Slack、企业微信WeCom）、内容治理工具（Notion、Obsidian）以及电子邮件服务，此表还整合了12个通用信息查问服务器（如高德地图、百度地图、医疗信息查问等），共计24个服务器 。
要仿照这些工具，团队采取了一个"先索求、再复刻"的战术 。他们首先手动部署真实的利用环境和测试账号，由人为标注员机关一批"种子函数挪用"——也就是示例操作指令，好比"获取某个飞书日历下的所有事务" 。接着引入了一种受"自我指令"步骤启发的技术（Self-FC），让AI模型自动天生更多样化的操作指令，既蕴含正常成功的指令，也蕴含各类会失败的谬误指令，好比类型谬误、短缺必填字段、参数超出领域、参数之间逻辑矛盾等四类典型谬误 。
网络到大量真实操作及其对应响应了局后，团队让AI模型分析这些"行为轨迹"，自动天生Python代码来仿照每个工具的处置逻辑 。这段天生的代码既能正确处置合法要求，也能精确复现各类谬误情况下的报错信息 。验证了局批注，这套仿照器与真实工具的行为一致率高达94%，而仅仅依附阅读文德反猜测工具行为的对照步骤，一致率只有58% �；痪浠八�，光看说明书远不够，真正"把工具用一遍"能力理解它的全数脾性 。
第二部门叫做"情境树"（Context-Tree），掌管创建每个虚构用户的幼我数据档案 。钻研团队为每个利用法式界说了一套树状的数据结构，清澈地描述用户数据的层级关系 。以飞书为例，结构是"用户→日历→日程事务"；以幼红书为例，结构是"用户→帖子→评论"；以Slack为例，结构是"用户→频路→新闻" 。
填充这棵树的方式颇为讲求 。对于必要随机ID的字段，系统会依照真实体式自动天生；对于地名、城市蹬仔限选项的字段，从预设列表中抽样；对于自由文本字段，由AI模型凭据高低文自由天生；而对于必要体现真实感的内容性字段（好比幼红书帖子的正文），团队直接选取了经过脱敏处置的真实网络内容 。敏感字段如电话号码则全数代替为虚伪数据以�；ひ� 。这棵情境树不是静态的，AI副手执行的每个创建、批改、删除操作城市实时更新树的内容，从而真实仿照多轮交互中数据的变动状态 。
第三部门叫做"工作天生器"（Persona-Gen），掌管创作真实可信的测试工作 。这是整个系统最考验人为参加的环节 。钻研团队首先通过拓扑采样步骤，从工具之间的依赖关系图中筛选出合理的工具挪用链，确保每条链满足五个前提：工具之间存在真实的逻辑依赖、链条中至少蕴含一个幼我账号工具、分歧链条之间不沉复、高低游工具的输入输出可能衔接、整体场景切合现实使用逻辑 。
基于这些工具链，系统自动天生"原型指令"，再将情境树中的具体数据值填入，得到具体化的工作描述 。接下来是最关键的"吞吐化"处置：刻意删去真实用户在日常对话中不会说出口的参数细节，好比用户ID、日历ID这类技术性标识符 。一个真实用户会说"助我给我的上级宋柯发个飞书新闻"，而不会说"助我挪用im_v1_message_create接口，向user_id为o9k5jtwo的用户发送新闻" 。这种"吞吐化"处置仿照了现实中指令的天然性和不齐全性，正是AI必要应对的真实挑战 。
最终，所有自动天生的工作都经过人为标注员的逐一审核、批改和打磨，确保每个工作在逻辑上齐全自洽，在难度上足够有挑战性，在表白上真实反映用户的日常说话习惯 。经过这路严格的人为关卡，共产生173个高质量测试工作，均匀每个工作必要挪用多个工具，并蕴含若干必要从环境中自主发现的隐性信息 。
测试平台就位后，钻研团队约请了超过十款当今最顶尖的AI模型来参与这场查核，阵容相当豪华 。贸易关源模型方面，GPT-5、Claude-Sonnet-4.5、Claude-Opus-4.1、o4-mini、o3、GPT-4o、Grok-4、Gemini-3-Pro、Gemini-2.5-Pro悉数登场 �？茨Ｐ头矫�，Qwen3-Max-Latest、Qwen3-235B-A22B、DeepSeek-V3、Qwen3-Coder也一起参加 。每款模型都以一样的工作和工具集中为输入，最多允许进行20轮工具挪用来实现工作 。
评分系统分三个维度 。第一个维度是"查抄点正确率"，将每个工作分化成若干个子指标查抄点，由另一个AI模型（GPT-4o）担任裁判，对每个查抄点独立打分，取均匀值作为工作得分 。第二个维度是"成功率"，衡量模型得分超过0.8的工作比例，能够理解为"根基实现工作"的比率 。第三个维度是"执行正确率"，直接查抄模型对数据库的现实操作了局——创建了什么、批改了什么、删除了什么——是否切合预期，这是最直接、最客观的评价尺度 。
了局令人警醒 。阐发最好的Claude-Sonnet-4.5，查抄点正确率是38.66%，GPT-5以36.99%紧随其后 �；痪浠八�，即就是全球最顶尖的AI模型，均匀而言也只能正确实现工作中不到四成的指标步骤 。"成功率"这个指标更惨，Claude-Sonnet-4.5的成功率是10.40%，意味着只有约莫极度之一的工作能被齐全地根基实现 。没有任何一个模型的正确率超过50% 。
从工作类型看，电子邮件工作是模型阐发相对最好的一类，由于邮件的操作逻辑相对单一，依赖链条也较短 。社交媒体和企业合作平台的工作则更具挑战性，由于涉及跨用户的交互和复杂的实体关系鉴别 。内容治理类工具（Notion、Obsidian）的阐发最差，模型在面对长篇文档的导航和编纂时尤为吃力 。
跨利用工作（Cross-Server Tasks）的难度进一步升级：必要同时操作飞书和幼红书的工作，或者必要将高德地图的路线信息写入Obsidian笔记再通知Slack频路的复合工作，对所有模型都是严格考验 。其中"杂烩"场景（肆意组合多个利用的工作）是最难的一类，险些所有模型在这里都跌入低谷 。
通过度析大量失败案例，钻研团队总结出三种反复出现的典型失败模式，每种模式都揭示了AI在个性化工具使用上的特定短板 。
第一种失败模式叫"浅尝辄止，不深挖环境" 。很多工作中，用户的指令并不会把所有必要信息说明显，AI必要自动去索求环境中已有的数据来补全这些信息 。但尝试中大量的弱模型选择了"就近解决"的战术——凭据表表指令天生一个看起来合理但现实上谬误的操作，而后就此收手，底子不去验证缺失的信息是否能够从环境中找到 。
一个典型例子是：工作要求"给我的上级宋柯发一条飞书新闻，诠释我的告假原因"，同时环境数据中存储着宋柯的飞书用户ID（o9k5jtwo） 。弱模型的做法是：绕过飞书，直接发了一条企业微信新闻，收件人还是凭空凭空的——工作表表上"实现"了，现实上平台错了、收件人也错了，彻底失败 。正确的做法应该是：先挪用工具查问飞书的联系人列表，找到宋柯对应的ID，再挪用飞书新闻发送接口 。
第二种失败模式叫"跳过隐含的前置步骤" 。飞书的很多操作必要吓酌手机号查找用户的平台内部ID，再用这个ID来执行具体操作 。正确的工作流程是两步：先挪用user_batchGetId工具把手机号转成用户ID，再把这个ID传给calendarEvent_create工具来创建日程并指定主持人 。但很多模型会跳过第一步，直接把手机号当成用户ID填进去，或者索性伪造一个ID，了局要么报错，要么在没有谬误提醒的情况下静默失败——最糟糕的情况，由于没有报错，模型甚至不知路自己已经失败了 。
第三种失败模式叫"高低文越长越迷糊" 。情境树设计确保了AI在与各个工具交互时，高低文中会堆集越来越多的信息 。某些工具（好比本地文档阅读器）返回的内容自身就相当冗长，进一步撑大了整个对话窗口 。随着轮次推动，模型确把稳力起头分散，越来越难以正确回顾早期对话中的关键信息和约束前提，最终连一些本应单一的步骤也起头犯错 。这揭示了一个当前大说话模型普遍存在的弱点：在超长对话中维持高度精准的前后一致性，依然是未被很好解决的难题 。
其中一组尝试专门钻研"技术文档"的成效 。在现实的AI副手生态中，用户能够给AI建设针对特定利用的操作手册，通知它这个利用有哪些工具、各个参数是什么寓意、典型的操作流程是什么 。钻研团队测试了三种情况：不提供任何手册、提供从社区平台ClawHub下载的最盛行公共技术文档、以及提供由钻研人员手动精心编写的专属指南 。
结论是：有手册比没手册好，精心编写的手册比轻易下载的公共手册更有效 。以GPT-5在飞书工作上的阐发为例，没有手册时查抄点正确率是37.5%，用公共手册是42.5%，用精心编写的手册则达到45% 。但即便如此，这个提升也相当有限，距离"令人中意"还差得很远 。钻研团队分析指出，公共平台上的技术文档质量参差不齐，有些内容已经过期，描述的接口参数不再与当前版本匹配，反而可能误导模型 。
另一组尝试钻研"工具数量"对阐发的影响 。给模型提供整个平台的140个工具，还是只给出当前工作现实必要用到的少量工具？了局显示，工具越少，模型阐发反而越好，尤其是在必要处置更长高低文的工作中这种趋向更显著 。这注明工具过多会对模型造成认知职守，在大量不有关工具中找到正确工具自身就是一项挑战 。
还有一组尝试钻研"滋扰信息"的影响 。在提供给模型的高低文中额表参与五段与工作无关的文字段落（来自维基百科描述等文本库），了局大无数模型的阐发都有肯定水平的下滑 。这批注模型在信息筛选能力上存在显著短板，容易被无关信息滋扰判断 。
一项测评钻研还必要回覆一个元问题：评价尺度自身靠得住吗？钻研团队请人类专家对所有173个工作的970个查抄点了局进行了独立评价，并与AI裁判（GPT-4o）的评分进行对比分析 。
了局显示，人类与AI裁判的整体一致率高达91.55% 。分工作类别看，长文档工作（Lark Long、Obsidian Long）的一致率略低于短工作，电子邮件工作的一致率相对较低（13.73%的吩扃率） 。不一致的情况重要来自两个原因：其一，AI裁判在涉及复杂逻辑或轻微语境的判断上偶然力不从心，这属于模型能力自身的局限；其二，AI裁判有时会由于模型使用了分歧于参考答案的工具（但最终了局正确）而过于严格地扣分 。总体而言，这套评测系统的靠得住性得到了初步验证，但钻研团队也恳切地指出了其存在的局限性，以供后续钻研改进参考 。
在效能与成本分析上，钻研团队也给出了有价值的发现 。分歧模型在实现一致难度工作时，亏损的token数量（可理解为"思虑量"）和产生的挪用成本差距悬殊 。GPT-5在效能上阐发凸起，均匀每个工作破费约0.09美元，查抄点正确率达到36.99%，性价比在所有测试模型中最为杰出 。钻研结论是：单纯堆砌推算资源并不用然带来更好的了局，在AI工具选型时，正确率与成本的综合衡量比单纯钻营"烧最多钱的模型"更为沉要 。
说到底，这项钻研揭示的不仅是技术层面的能力差距，更是当前AI发展阶段与用户真实进展之间的天堑 。人们等待AI可能真正融入幼我数字生涯，助忙治理那些散落在飞书、幼红书、Slack、Notion中的日常事务，但现实是，即便最壮大的模型，在面对"你把账号交给我、我助你打理"这种场景时，依然会频仍地找不到正确的人、用错平台、遗漏关键步骤 。
这不是对AI能力的否定，而是对"还差在哪里"的精准定位 。MCP-Persona提供的是一个可复现、�；ひ浴⒏哺嵌嗬嗾媸道玫某叨然馐曰肪�，让钻研者可能明显地看到分歧模型的具体短板，并针对性地加以改进 。下一步，若何让AI学会自动索求环境、补全用户遗漏的细节、在多工具合作中维持长程一致性，将是这一领域最值得攻克的方向 。
A：MCP-Persona通过三套系统协同工作 。工具仿照器方面，钻研团队现实运行了真实利用的API，网络大量真实操作纪录，再让AI天生Python代码来复刻工具逻辑，正确率达到94% 。情境树方面，团队依照真实利用的数据结构天生虚构用户数据，其中文本内容部门来自脱敏的真实网络内容，敏感字段全数代替为虚伪数据 。这两套机造结合，既保障了环境的真实感，又齐全预防了真实隐衷数据的使用 。
A：在MCP-Persona的测评了局中，飞书（Lark）工作和幼红书（Rednote）工作都属于难度较高的类别 。飞书工作的重要挑战在于必要先通过手机号查问用户的平台内部ID能力执行操作，好多模型会跳过这个步骤直接失败 。幼红书工作难在内容操作涉及复杂的账号状态判断 。阐发最好的模型Claude-Sonnet-4.5在飞书工作上的正确率约为40%，在幼红书工作上约为42%，整体仍处于较低程度 。
A：有成果，但提升幅杜仔限 。以GPT-5在飞书工作上的测试为例，不提供手册时正确率约37.5%，使用社区公开手册提升到约42.5%，使用钻研团队精心编写的手册则达到约45% 。提升存在但并不显著，原因在于公开平台上的手册质量参差不齐，部门内容已过期，甚至会误导模型 。钻研结论是，高质量、与工作高度对齐的专属操作指南比轻易下载的公共资源更有价值 。
《XXXXXL19D和XXXXXL20D区别-百度100%电影》8号种子安德列娃，从下半区成功突围进入决赛。这是19岁的安德列娃，职业生涯首次在大满贯闯入决赛。其中在半决赛的比赛当中，安德列娃横扫复仇科斯秋克，终结了对手今年红土赛季17连胜的战绩。不认同窦靖童的网友就不买账，说既然不用助演出声唱歌，那占着助演的名额干什么。本来好多没名气的歌手都等着这个露脸的机会，结果窦靖童找个人来占坑不干活，这不就是赤裸裸的浪费资源吗。再说了，拿了助演的位置却只干伴奏的活，这不就是不把助演和其他参赛歌手当回事吗。《XXXXXL19D和XXXXXL20D区别-百度100%电影》《网络精子系统(快穿)女主叫江沫》而加盟勇士的吸引力不止于此：他有机会成为这支没落王朝的最后一块夺冠拼图。库里时代的勇士已经四次登顶联盟，过去几个赛季，球队一直在苦苦寻求重回巅峰的引援方案，而詹姆斯，或许就是那个答案。在周秀文的带领下，迈威尔迅速崛起，成为全球领先的半导体公司之一，尤其在存储、通信和消费电子产品芯片领域。周秀文拥有或联合拥有超过440项发明专利。他被“硅谷知识产权法协会”评为年度发明家，并成为“电气电子工程师学会”最高级别成员。他经常在国际会议上就半导体设计和计算未来相关议题发表演讲。
20260608 ? 《XXXXXL19D和XXXXXL20D区别-百度100%电影》目前，三星正在德克萨斯州奥斯汀建设逻辑芯片工厂，SK海力士则计划在印第安纳州建立封装厂，但在美国本土生产内存晶圆的仅有美光一家。《《替夫还债》高清齐全版》被问到为何此时召开选举，弗洛伦蒂诺-佩雷斯表示：“我察觉到一股动向，来自那些参与过皇马最黑暗时期的人，也就是2006年到2009年那段阴暗岁月的人。里克尔梅的父亲当时也和卡尔德隆在一起。20年后，那一阶段的子女或亲属又出来参选了。”
20260608 ? 《XXXXXL19D和XXXXXL20D区别-百度100%电影》路易斯·加西亚·普拉萨并不反对下赛季继续拥有这位智利球员的想法，因为这位马德里籍教练在联赛后半程成功激发了他的最佳状态。他深知，这位37岁的老将虽然身体状况已不适宜首发，但能够从替补席做出贡献，提供高质量的出场时间并为场上带来经验。《年轻的女孩在办公室推荐香水》训练当然很重要，它能让你在身体和状态上做好准备，也能提升信心。训练质量对两边都重要：首发一方要保持竞争力，替补一方也要证明自己。但最终决定还是比赛本身。所以你必须在训练中准备好，一旦获得机会，就要全力发挥。有时候比赛不会顺利，但你必须知道自己的角色，并随时准备上场。
京公网安备11010202000001号
