这项由上海交通大学多智能体治理与智能团队（MAGIC尝试室）结合浙江大学、伊利诺伊大学厄巴纳-香槟分校、牛津大学以及上海人为智能尝试室共同实现的钻研，颁发于2026年第43届国际机械进建大会（ICML 2026），论文编号为arXiv:2606.02470。有兴致深刻相识的读者可通过该编号查问齐全论文。
你有没有想过，让AI助你治理日常的飞书日历、给幼红书发帖、在Slack里给同事发新闻，听起来应该不难吧？终于这些AI已经能写诗、编程、解数学题了，处置这点"幼事"应该手到擒来。然而这项钻研给出了一个让人意表的答案：即就是目前全球最顶尖的AI模型，在面对这类"幼我账号治理"工作时，正确率普遍不超过50%，并且相当一部门工作险些齐全失败。
这背后到底产生了什么？钻研团队构建了一套名为MCP-Persona的测试平台，专门用来检验AI副手在真实幼我利用场景中的现实阐发。这不是那种让AI在网上搜索信息的单一考试，而是仿照真实的"你把自己的账号交给AI治理"的场景——AI必要在你的飞书里创建会议，在你的幼红书里发内容，在你的Slack频路里@同事，同时还得弄明显谁是谁、谁的ID是什么、哪个日历是主日历。钻研了局清澈地揭示了当前AI副手在个性化工具使用上的真实短板，也为未来的改进指了然方向。
要理解这项钻研解决的是什么问题，能够先设想这样一个场景：你雇了一个刚入职的助理，第一天就让他助你铺排飞书会议、通知群里的同事、更新Notion笔记本里的项目打算。这个助理智商很高，能记住复杂的会议议程，但他不知路你飞书里哪个日历是主日历，不知路"幼李"在飞书里的用户ID是什么，也不知路你的幼红书账号发帖时用的是哪个标签风格。了局呢？他可能会把会议建在谬误的日历上，把新闻发给谬误的人，或者索性由于找不到必要的信息而卡住不动。
这正是当前AI副手面对的困境。钻研团队把稳到，目前学术界对AI工具使用能力的评测，根基都集中在"通用信息查问"这类工作上，好比让AI搜索气象、查问股票、翻译文字。这类工作有个共同特点：工具是公开的、无需账号的、与用户幼我信息无关的。然而现实生涯中，人们最但愿AI助忙处置的，刚好是那些与幼我账号缜密有关的工作——治理邮件、发社交媒体、协调团队日程。这类工作有三个主题难点。
第一个难点是"账号绑定"，这些工具必须登录特定账号能力使用，而每个账号里的数据结构、权限设置、实体关系（好比某个群里有哪些成员）都齐全分歧，没有统一的模板可循。第二个难点是"隐衷壁垒"，真实的幼我数据无法公开共享受于钻研，这让构建一个公开可复现的测试平台变得极作难题。第三个难点是"环境复杂性"，这些利用的状态是动态变动的，AI执行的每一个操作都可能扭转环境状态，后续操作必须依赖前面操作的了局，任何一步犯错城市影响整个链条。
正是这三沉难点叠加，导致了一个令人狼狈的钻研空缺：学术界险些没有任何一个像样的测评基准专门针对"幼我账号治理类"AI工作，只管这类工作在现实中的需要量巨大。MCP-Persona就是为了添补这个空缺而诞生的。
钻研团队面对的主题挑战是：若何在不使用真实用户数据的前提下，创建一个足够真切的测试环境来调查AI的真实能力？他们的解决规划是构建一套精密的仿照系统，整个系统由三个相互共同的部门组成，就像搭建一个精密剧本演出所需的舞台、演员和剧情一样。
第一部门叫做"工具仿照器"（Tool-Traverse），掌管创建虚构版本的真实利用法式工具。钻研团队首先网络了12个真实的幼我利用MCP服务器，涵盖社交媒体（幼红书、Reddit、Instagram）、企业合作平台（飞书Lark、Slack、企业微信WeCom）、内容治理工具（Notion、Obsidian）以及电子邮件服务，此表还整合了12个通用信息查问服务器（如高德地图、百度地图、医疗信息查问等），共计24个服务器。
要仿照这些工具，团队采取了一个"先索求、再复刻"的战术。他们首先手动部署真实的利用环境和测试账号，由人为标注员机关一批"种子函数挪用"——也就是示例操作指令，好比"获取某个飞书日历下的所有事务"。接着引入了一种受"自我指令"步骤启发的技术（Self-FC），让AI模型自动天生更多样化的操作指令，既蕴含正常成功的指令，也蕴含各类会失败的谬误指令，好比类型谬误、短缺必填字段、参数超出领域、参数之间逻辑矛盾等四类典型谬误。
网络到大量真实操作及其对应响应了局后，团队让AI模型分析这些"行为轨迹"，自动天生Python代码来仿照每个工具的处置逻辑。这段天生的代码既能正确处置合法要求，也能精确复现各类谬误情况下的报错信息。验证了局批注，这套仿照器与真实工具的行为一致率高达94%，而仅仅依附阅读文德反猜测工具行为的对照步骤，一致率只有58%� ；痪浠八�，光看说明书远不够，真正"把工具用一遍"能力理解它的全数脾性。
第二部门叫做"情境树"（Context-Tree），掌管创建每个虚构用户的幼我数据档案。钻研团队为每个利用法式界说了一套树状的数据结构，清澈地描述用户数据的层级关系。以飞书为例，结构是"用户→日历→日程事务" ；以幼红书为例，结构是"用户→帖子→评论" ；以Slack为例，结构是"用户→频路→新闻"。
填充这棵树的方式颇为讲求。对于必要随机ID的字段，系统会依照真实体式自动天生 ；对于地名、城市蹬仔限选项的字段，从预设列表中抽样 ；对于自由文本字段，由AI模型凭据高低文自由天生 ；而对于必要体现真实感的内容性字段（好比幼红书帖子的正文），团队直接选取了经过脱敏处置的真实网络内容。敏感字段如电话号码则全数代替为虚伪数据以� ；ひ�。这棵情境树不是静态的，AI副手执行的每个创建、批改、删除操作城市实时更新树的内容，从而真实仿照多轮交互中数据的变动状态。
第三部门叫做"工作天生器"（Persona-Gen），掌管创作真实可信的测试工作。这是整个系统最考验人为参加的环节。钻研团队首先通过拓扑采样步骤，从工具之间的依赖关系图中筛选出合理的工具挪用链，确保每条链满足五个前提：工具之间存在真实的逻辑依赖、链条中至少蕴含一个幼我账号工具、分歧链条之间不沉复、高低游工具的输入输出可能衔接、整体场景切合现实使用逻辑。
基于这些工具链，系统自动天生"原型指令"，再将情境树中的具体数据值填入，得到具体化的工作描述。接下来是最关键的"吞吐化"处置：刻意删去真实用户在日常对话中不会说出口的参数细节，好比用户ID、日历ID这类技术性标识符。一个真实用户会说"助我给我的上级宋柯发个飞书新闻"，而不会说"助我挪用im_v1_message_create接口，向user_id为o9k5jtwo的用户发送新闻"。这种"吞吐化"处置仿照了现实中指令的天然性和不齐全性，正是AI必要应对的真实挑战。
最终，所有自动天生的工作都经过人为标注员的逐一审核、批改和打磨，确保每个工作在逻辑上齐全自洽，在难度上足够有挑战性，在表白上真实反映用户的日常说话习惯。经过这路严格的人为关卡，共产生173个高质量测试工作，均匀每个工作必要挪用多个工具，并蕴含若干必要从环境中自主发现的隐性信息。
测试平台就位后，钻研团队约请了超过十款当今最顶尖的AI模型来参与这场查核，阵容相当豪华。贸易关源模型方面，GPT-5、Claude-Sonnet-4.5、Claude-Opus-4.1、o4-mini、o3、GPT-4o、Grok-4、Gemini-3-Pro、Gemini-2.5-Pro悉数登场�？茨Ｐ头矫�，Qwen3-Max-Latest、Qwen3-235B-A22B、DeepSeek-V3、Qwen3-Coder也一起参加。每款模型都以一样的工作和工具集中为输入，最多允许进行20轮工具挪用来实现工作。
评分系统分三个维度。第一个维度是"查抄点正确率"，将每个工作分化成若干个子指标查抄点，由另一个AI模型（GPT-4o）担任裁判，对每个查抄点独立打分，取均匀值作为工作得分。第二个维度是"成功率"，衡量模型得分超过0.8的工作比例，能够理解为"根基实现工作"的比率。第三个维度是"执行正确率"，直接查抄模型对数据库的现实操作了局——创建了什么、批改了什么、删除了什么——是否切合预期，这是最直接、最客观的评价尺度。
了局令人警醒。阐发最好的Claude-Sonnet-4.5，查抄点正确率是38.66%，GPT-5以36.99%紧随其后� ；痪浠八�，即就是全球最顶尖的AI模型，均匀而言也只能正确实现工作中不到四成的指标步骤。"成功率"这个指标更惨，Claude-Sonnet-4.5的成功率是10.40%，意味着只有约莫极度之一的工作能被齐全地根基实现。没有任何一个模型的正确率超过50%。
从工作类型看，电子邮件工作是模型阐发相对最好的一类，由于邮件的操作逻辑相对单一，依赖链条也较短。社交媒体和企业合作平台的工作则更具挑战性，由于涉及跨用户的交互和复杂的实体关系鉴别。内容治理类工具（Notion、Obsidian）的阐发最差，模型在面对长篇文档的导航和编纂时尤为吃力。
跨利用工作（Cross-Server Tasks）的难度进一步升级：必要同时操作飞书和幼红书的工作，或者必要将高德地图的路线信息写入Obsidian笔记再通知Slack频路的复合工作，对所有模型都是严格考验。其中"杂烩"场景（肆意组合多个利用的工作）是最难的一类，险些所有模型在这里都跌入低谷。
通过度析大量失败案例，钻研团队总结出三种反复出现的典型失败模式，每种模式都揭示了AI在个性化工具使用上的特定短板。
第一种失败模式叫"浅尝辄止，不深挖环境"。很多工作中，用户的指令并不会把所有必要信息说明显，AI必要自动去索求环境中已有的数据来补全这些信息。但尝试中大量的弱模型选择了"就近解决"的战术——凭据表表指令天生一个看起来合理但现实上谬误的操作，而后就此收手，底子不去验证缺失的信息是否能够从环境中找到。
一个典型例子是：工作要求"给我的上级宋柯发一条飞书新闻，诠释我的告假原因"，同时环境数据中存储着宋柯的飞书用户ID（o9k5jtwo）。弱模型的做法是：绕过飞书，直接发了一条企业微信新闻，收件人还是凭空凭空的——工作表表上"实现"了，现实上平台错了、收件人也错了，彻底失败。正确的做法应该是：先挪用工具查问飞书的联系人列表，找到宋柯对应的ID，再挪用飞书新闻发送接口。
第二种失败模式叫"跳过隐含的前置步骤"。飞书的很多操作必要吓酌手机号查找用户的平台内部ID，再用这个ID来执行具体操作。正确的工作流程是两步：先挪用user_batchGetId工具把手机号转成用户ID，再把这个ID传给calendarEvent_create工具来创建日程并指定主持人。但很多模型会跳过第一步，直接把手机号当成用户ID填进去，或者索性伪造一个ID，了局要么报错，要么在没有谬误提醒的情况下静默失败——最糟糕的情况，由于没有报错，模型甚至不知路自己已经失败了。
第三种失败模式叫"高低文越长越迷糊"。情境树设计确保了AI在与各个工具交互时，高低文中会堆集越来越多的信息。某些工具（好比本地文档阅读器）返回的内容自身就相当冗长，进一步撑大了整个对话窗口。随着轮次推动，模型确把稳力起头分散，越来越难以正确回顾早期对话中的关键信息和约束前提，最终连一些本应单一的步骤也起头犯错。这揭示了一个当前大说话模型普遍存在的弱点：在超长对话中维持高度精准的前后一致性，依然是未被很好解决的难题。
其中一组尝试专门钻研"技术文档"的成效。在现实的AI副手生态中，用户能够给AI建设针对特定利用的操作手册，通知它这个利用有哪些工具、各个参数是什么寓意、典型的操作流程是什么。钻研团队测试了三种情况：不提供任何手册、提供从社区平台ClawHub下载的最盛行公共技术文档、以及提供由钻研人员手动精心编写的专属指南。
结论是：有手册比没手册好，精心编写的手册比轻易下载的公共手册更有效。以GPT-5在飞书工作上的阐发为例，没有手册时查抄点正确率是37.5%，用公共手册是42.5%，用精心编写的手册则达到45%。但即便如此，这个提升也相当有限，距离"令人中意"还差得很远。钻研团队分析指出，公共平台上的技术文档质量参差不齐，有些内容已经过期，描述的接口参数不再与当前版本匹配，反而可能误导模型。
另一组尝试钻研"工具数量"对阐发的影响。给模型提供整个平台的140个工具，还是只给出当前工作现实必要用到的少量工具？了局显示，工具越少，模型阐发反而越好，尤其是在必要处置更长高低文的工作中这种趋向更显著。这注明工具过多会对模型造成认知职守，在大量不有关工具中找到正确工具自身就是一项挑战。
还有一组尝试钻研"滋扰信息"的影响。在提供给模型的高低文中额表参与五段与工作无关的文字段落（来自维基百科描述等文本库），了局大无数模型的阐发都有肯定水平的下滑。这批注模型在信息筛选能力上存在显著短板，容易被无关信息滋扰判断。
一项测评钻研还必要回覆一个元问题：评价尺度自身靠得住吗？钻研团队请人类专家对所有173个工作的970个查抄点了局进行了独立评价，并与AI裁判（GPT-4o）的评分进行对比分析。
了局显示，人类与AI裁判的整体一致率高达91.55%。分工作类别看，长文档工作（Lark Long、Obsidian Long）的一致率略低于短工作，电子邮件工作的一致率相对较低（13.73%的吩扃率）。不一致的情况重要来自两个原因：其一，AI裁判在涉及复杂逻辑或轻微语境的判断上偶然力不从心，这属于模型能力自身的局限 ；其二，AI裁判有时会由于模型使用了分歧于参考答案的工具（但最终了局正确）而过于严格地扣分。总体而言，这套评测系统的靠得住性得到了初步验证，但钻研团队也恳切地指出了其存在的局限性，以供后续钻研改进参考。
在效能与成本分析上，钻研团队也给出了有价值的发现。分歧模型在实现一致难度工作时，亏损的token数量（可理解为"思虑量"）和产生的挪用成本差距悬殊。GPT-5在效能上阐发凸起，均匀每个工作破费约0.09美元，查抄点正确率达到36.99%，性价比在所有测试模型中最为杰出。钻研结论是：单纯堆砌推算资源并不用然带来更好的了局，在AI工具选型时，正确率与成本的综合衡量比单纯钻营"烧最多钱的模型"更为沉要。
说到底，这项钻研揭示的不仅是技术层面的能力差距，更是当前AI发展阶段与用户真实进展之间的天堑。人们等待AI可能真正融入幼我数字生涯，助忙治理那些散落在飞书、幼红书、Slack、Notion中的日常事务，但现实是，即便最壮大的模型，在面对"你把账号交给我、我助你打理"这种场景时，依然会频仍地找不到正确的人、用错平台、遗漏关键步骤。
这不是对AI能力的否定，而是对"还差在哪里"的精准定位。MCP-Persona提供的是一个可复现、� ；ひ浴⒏哺嵌嗬嗾媸道玫某叨然馐曰肪�，让钻研者可能明显地看到分歧模型的具体短板，并针对性地加以改进。下一步，若何让AI学会自动索求环境、补全用户遗漏的细节、在多工具合作中维持长程一致性，将是这一领域最值得攻克的方向。
A：MCP-Persona通过三套系统协同工作。工具仿照器方面，钻研团队现实运行了真实利用的API，网络大量真实操作纪录，再让AI天生Python代码来复刻工具逻辑，正确率达到94%。情境树方面，团队依照真实利用的数据结构天生虚构用户数据，其中文本内容部门来自脱敏的真实网络内容，敏感字段全数代替为虚伪数据。这两套机造结合，既保障了环境的真实感，又齐全预防了真实隐衷数据的使用。
A：在MCP-Persona的测评了局中，飞书（Lark）工作和幼红书（Rednote）工作都属于难度较高的类别。飞书工作的重要挑战在于必要先通过手机号查问用户的平台内部ID能力执行操作，好多模型会跳过这个步骤直接失败。幼红书工作难在内容操作涉及复杂的账号状态判断。阐发最好的模型Claude-Sonnet-4.5在飞书工作上的正确率约为40%，在幼红书工作上约为42%，整体仍处于较低程度。
A：有成果，但提升幅杜仔限。以GPT-5在飞书工作上的测试为例，不提供手册时正确率约37.5%，使用社区公开手册提升到约42.5%，使用钻研团队精心编写的手册则达到约45%。提升存在但并不显著，原因在于公开平台上的手册质量参差不齐，部门内容已过期，甚至会误导模型。钻研结论是，高质量、与工作高度对齐的专属操作指南比轻易下载的公共资源更有价值。
被迫成为试用员后BY我不吃鱼百度云“在船上，真的感受到了来自同胞的温暖。”陆女士说，“有些人主动问我需要什么，有些是我去开口借，他们都从自己不多的物资里分出一部分给了我。”IT之家 6 月 4 日消息，iRocks（艾芮克）作为岛内外设品牌为 COMPUTEX 2026 台北国际电脑展准备了一些外设新品，包括采用大配列的两款键盘和一款办公鼠标。被迫成为试用员后BY我不吃鱼百度云《《家庭主妇》大终局》根据数据统计，C罗此役3次射门全场最多，只有1次射正，12次触球，0次过人成功，他仅得到6.4分，除了与对手互殴染红的莱奥之外，C罗的分数排名全队登场的球员中倒数第2位。即时通讯平台品牌营销负责人珍妮-莫雷尔补充道：“这是萨卡职业生涯中具有决定意义的一年，这部电影展现了真实的样子，不只是在球场上，也包括他与那些让他保持脚踏实地的人在一起的私下时刻。能够成为他与核心圈子保持联系的一部分，并帮助他向世界分享这个故事，我们深感荣幸。”
20260607 ?? 被迫成为试用员后BY我不吃鱼百度云离婚之后，两人的日子像是隔着一层毛玻璃，高云翔的事业一夜之间从巅峰坠落，总计将近5000万元的连带债务几乎抽干了最后一点血。老婆当着我的面和此外汉子聊暧昧听到卡塞米罗这样评价我当然很好。他是一个非常有经验、非常成功的球员，对这个位置理解很深。我也和他有过对抗，也曾和他在国家队一起踢球，所以能得到他的认可很不错。如果这帮助我获得了国家队机会，我很感激。但我也清楚，只要我在这里，就必须证明自己。2022年世界杯我只踢了一场对喀麦隆的比赛，我一直希望能上场帮助球队。我一直做好准备，但是否上场是教练的决定。
20260607 ? 被迫成为试用员后BY我不吃鱼百度云在更新了英超球员的身价之后，德转还列出了目前德国身价最高的12名球员，维尔茨此次身价下跌1000万欧元，但仍以1亿欧元与穆西亚拉并列德国球员第一。《光棍影院》我想说的是，我37岁了，不会拿自己的职业声誉、体育声誉和个人信誉开玩笑。我做的是一个严肃的竞选项目。我已经作出了承诺，而且现在依然坚持：如果我成为皇家马德里主席，我提到过的那些球员，今年夏天就会加盟皇家马德里。
京公网安备11010202000001号
