这项由牛津大学、斯坦福大学与艾伦人为智能钻研所结合发展的钻研，于2026年5月以预印本大局颁布，编号为arXiv:2605.22681v1。钻研团队构建了一个名为CUSP（Cutoff-conditioned Unseen Scientific Progress，即"截止日期前提下的未见科学进展"）的测评框架，系统调查了当前最先进的AI系统是否真的可能预测科学发展的走向。 科学界一向存在一个颇为迷人的等待：若是AI把握了人类堆集的所有知识，它能否像一位洞察力超群的学者那样，提前预感下一个沉大发现？终于，汗青上不乏法规可循的科学进展，半导体领域有驰名的摩尔定律——每隔约两年，芯片上的晶体管数量就会翻倍；深度进建领域有规模定律——模型越大、数据越多，机能越好。这些法规已经援手工程师和钻研者造订路线图、分配资源。如今，AI系统被寄托厚望，人们但愿它们不只是知识的检索工具，而是可能真正参加科学预感的"智能同伴"。 为了搞明显AI到底能不能预测科学进展，钻研团队精心设计了一套考试系统，而不是轻易找几路题考考AI就算了。他们网络的素材来自《天然》《科学》《细胞》三大顶级学术期刊，以及Hugging Face、社区驱动的AI论文榜单，还有GPQA Diamond、MMLU-Pro和"人类最后的考试"（Humanity's Last Exam）等驰名AI能力排行榜。功夫跨度从2024年1月到2026年3月，涵盖生物学、人为智能、医学、神经科学、资料科学、物理学、环境科学、化学等九大领域。 主题思路是"功夫关闭"：钻研者给AI划定一条功夫红线，只允许它使用红线之前的知识，而后要求它预测红线之后产生的科学事务。这就好比让一位1990年代的科学家，仅凭其时的知识，预测2000年代会出现哪些沉大发现。钻研团队从每篇论文中剔除了所有会泄露答案的线索——蕴含新提出的步骤名称、模型缩写、系统代号——确保AI无法靠"认出答案"来蒙混过关。 最终，17429个结构化预测工作从4760个科学里程碑中天生，散布在五种考题类型中。第一种是"是否题"：某个具体的科学申明到某个日期之前能否实现？好比，"到2025年5月，某种步骤能否在特定前提下将某类化学反映的产率提升30%？"第二种是变体版"是否题"，将原始申明中的数字或前提做了微调，造成一个"听起来合理但现实上没有实现"的陈述，调查AI是否能鉴别这种轻微差距。第三种是四选一的机造推理题：在四个听起来都很合理的技术路线中，选出真正被用来实现突破的那一个。第四种是盛开性设计题：凭据科学问题的布景，要求AI提出一套可行的解决规划。第五种是功夫预测题：某个科学里程碑约莫会在哪个月份实现？ 所有标题都经过了两轮严格的质量把关。首吓咨Grok-3这个独立的AI系统审核，确保每路题都忠诚于原始论文、可客观验证、没有信息泄露；而后由多所高校的钻研生级此外人类专家进行人为复核。钻研者还丈量了AI审核员和人类审核员的一致性，了局显示两者在"保留标题"这件事上的精确率极度高——这意味着这套质量把关是靠得住的。 钻研团队测试了六款当前最先进的AI系统，蕴含OpenAI的GPT-5.4和GPT-4o、Anthropic的Claude Sonnet 4.5、Meta的LLaMA 3.3-70B、盛开模式的GPT-OSS 20B，以及DeepSeek R1。这些模型代表了2023年底到2025年中期各个知识截止节点的AI系统。 机造推理题的成就是六种题型中最好看的。GPT-5.4以81.9%的正确携带跑，而随机猜测的概率只有25%（四选一），所以所有模型都显著优于瞎猜。这注明AI的确具备肯定的科学知识堆集，可能在给定问题布景的情况下，从竞争性候选规划中鉴别出合理的技术蹊径。就像一个熟悉烹饪的厨师，即便不知路某路菜的具体食谱，也能在四种烹饪步骤中猜出哪种更适合处置某种食材。 然而，一旦进入真正必要"预感未来"的环节，AI的阐发就大打折扣了。在"是否题"上，所有模型的正确率都在45%到52%之间徘徊——而齐全随机猜测的正确率是50%�；痪浠八�，AI在判断一项科学申明是否会在指定日期前实现时，险些和掷硬币没有区别。更耐人寻味的是，分歧模型出现出截然相反的答题私见：LLaMA 3.3有强烈的"什么都说能实现"的偏差（在原题上答"是"的比例高达93%），而GPT-4o和GPT-OSS则有强烈的"什么都说不能实现"的偏差（在原题上答"是"的比例只有19%左右）。这种私见并不反映真实的科学判断，而是模型自身的系统性"脾性"。 功夫预测题揭示了另一种有趣的谬误模式。所有模型都系统性地把科学事务的产生功夫往后推——也就是说，它们以为科学进展会比现实产生得更晚。均匀预测误差在四到三十六个月之间，GPT-4o的中位误差高达26个月，而LLaMA 3.3相对较好，中位误差只有4个月。值妥贴心的是，LLaMA 3.3在功夫预测上排名第一，但这部门原因来自一个有趣的"意表"：它偏差于把大量预测集中锁定在2025年中期左近，形成了一个密集的"功夫锚"，倒劓实事务刚好落在那个区间时，它的得分就会比力高。从散点图上看，各模型的预测点出现出横向的带状散布，而非沿对角线散布——梦想的预测应该是散点缜密散布在对角线左近，注明预测日期和真实日期靠近。 盛开性设计题的阐发则展示了AI能力的一个怪异裂缝。GPT-5.4的综合得分最高（5.04分，满分10分），通过率（得分≥5）达到60.3%，其他所有模型的通过率都在20%以下。更有意思的细节在于：险些所有模型的"技术具体性"得分都远高于"方向吻合度"得分，两者之间的差距高达1到3分。这意味着AI可能写出听起来极度专业、细节丰硕的技术规划，但这些规划往往并不是真正解决了问题的那条路。就像一个厨师写了一份详尽的菜谱，食材选择合理，步骤清澈，但做出来的菜和真正的指标操持相差甚远。这是一种"精确地跑偏"的能力。 直觉上，我们会以为AI应该对它"见过"的事务阐发更好，对它"没见过"的事务阐发更差。终于，一幼我若是已经读过某篇论文，理当对其内容更相识。 钻研团队专门对此进行了验证。他们把所有测试事务分为两类：产生在各模型知识截止日期之前的"已知事务"，和产生在截止日期之后的"未知事务"。了局颇为出乎意料——两类事务的得分差距极度幼，在大无数题型上险些没有显著区别。GPT-5.4在机造推理题上，已知事务得分0.830，未知事务得分0.792；在盛开性设计题上，两者都是5.04分。Claude S4.5、DeepSeek R1等模型的情况类似。 这个发现突破了"AI阐发差是由于不知路答案"的单一诠释。若是问题只是知始�で�，那么对于已知事务应该阐发显著更好；但事实上并非如此。这至少意味着两种可能：一是AI在训练时固然"见过"这些事务，但并没有真正将有关信息整合为能够用于预测的知识；二是即便占有齐全的知识，AI也不足将知识转化为靠得住预测的能力�；痪浠八�，知路产生了什么，并不蹬宗可能预测它会产生。 钻研团队设计了一个受控尝试，对500个测试事务进行了三种前提下的对比。第一种是让AI单独作答，不提供任何额表信息；第二种是给AI建设网络搜索工具，但限度只能搜索截止日期之前的内容（即汗青知识加强）；第三种是允许AI进行无限度搜索，能够获取蕴含指标事务在内的全数信息（即"开卷考试"）。 汗青知识加强的确带来了显著的改善。在GPT-4o上，是否题的正确率从19.2%提升到47.6%，机造推理题从54.2%提升到58.9%，盛开性设计题的均匀分从3.28提升到3.72。这注明AI在基础模式下并没有充分挪用自己该当占有的汗青知识，有相当一部门知识在回覆这类问题时是"睡着的"。 但关键的发此刻于：即便提供了截止日期前的所有汗青知识，AI在预测未来事务上依然和"全知模式"（允许搜索指标事务自身）之间存在巨大差距。钻研者将这个差距分化为两部门：一是"知识天堑"，代表汗青知识加强带来的机能提升；二是"预测天堑"，代表在汗青知识已经充分的情况下，AI依然无法追平全知模式的渣滓差距。在功夫预测工作上，GPT-5.4的预测天堑（0.436）弘远于知识天堑（0.070）。这注明，预测能力的缺失不能用信息不及来齐全诠释，AI自身在"向前看"这件事上存在底子性的局限。 更有意思的是，这个预测天堑与科学发现的影响力亲昵有关。钻研者依照论文被引用次数将测试事务分为四个档次，发现越是高影响力的突破性发现，AI的预测天堑越大。在GPT-5.4上，低引用量论文的预测天堑约为0.060，而高引用量论文的预测天堑飙升至0.875。也就是说，AI对那些真正扭转领域走向的沉大发现，预测能力最弱。这有点像说，AI能猜到下个月的幼新闻，但对于扭转汗青过程的大事务，它险些猜禁绝。 在机造推理题上，环境科学（66.2%）、神经科学（65.8%）和物理学（62.1%）的正确率相对较高，而化学（49.8%）、资料科学（54.2%）和AI（54.3%）相对较低。这可能反映了分歧领域的技术路线集中水平——物理学的尝试伎俩相对固定，更容易从候选规划中鉴别正确蹊径；而化学合成路线千变万化，AI更难做出正确判断。 功夫预测的领域差距最为凸起。AI领域的功夫预测得分（0.461）显著高于其他所有领域（通常在0.18到0.28之间）。这并不难理解：AI领域的进展高度依赖于可量化的指标，好比各类基准测试的成就，并且这些数据在互联网上公开更新、纪录齐全，模式更为法规。相比之下，生物学、化学和物理学的突破往往来自意想不到的尝试发现，很难从汗青趋向中揣度功夫节点。 在盛开性设计题上，神经科学（4.11分）、生物学（4.05分）和AI（4.04分）阐发最好，而化学（3.54分）、物理学（3.74分）和资料科学（3.80分）相对较弱�；�学和物理学的低分反映了这两个领域高度专业化的特点，与AI训练数据中覆盖更广的通常知识之间存在较大差距。 有一个发此刻所有领域都维持一致：是否题的正确率在职何领域都没有突破随机水平（46%到52%之间），甚至在AI领域也不例表。这意味着，无论在哪个科学领域，AI都无法靠得住地判断一项具体的科学申明是否会在规按功夫内实现。 自负和正确是两回事。医生能够自负地给出诊断，但自负不蹬宗正确。钻研者专门丈量了AI的"自负度"（stated confidence）和现实正确率之间的差距。 了局显示，险些所有模型在所有题型上都系统性地过于自负。在是否题上，模型均匀自负度比现实正确率逾越约0.2分；在机造推理题上，逾越幅度更大，DeepSeek R1甚至逾越0.3分以上；在功夫预测题上，GPT-4o的过度自负幅度高达0.6分。这种校准误差在统计学中用"进展校准误差"（ECE）来衡量，值越低越好，而大无数模型的ECE都在0.2以上，属于严沉失准的领域。 更奥妙的发此刻于，这种过度自负的水平在知识截止日期前后出现出分歧的变动模式。在机造推理题上，险些所有模型在面对截止日期之后的"未知"事务时，过度自负水平反而增长了——只管正确率没有相应提升。这就好比一个学生考到自己没温习过的章节时，反而变得更自负了，这显然是一种危险的信号。相比之下，在功夫预测题上，过度自负水平在截止日期之后显著降落，一些模型的过度自负值甚至转变为负数（即对自己的功夫判断过于谦卑）。是否题的过度自负则没有一致的变动方向，在分歧模型之间阐发各别。 这些发现共同批注：AI并没有一套不变、统一的不确定性感知机造。它的自负水平是"碎片化的"，在分歧题型、分歧功夫领域之间出现出分歧的失准模式，并且这种失准并不是单一地随着"难度增长而变得更谦卑"，而是以复杂、不成预测的方式变动。 钻研团队还做了一件颇有趣味的事：他们构建了一组"功夫胶囊"问题，即真实了局尚未揭晓、必要期待未来验证的预测标题。这些标题涵盖科学里程碑（如超导临界温度纪录）、机构荣誉（如2026年诺贝尔物理学奖的颁奖方向）、量化指标（如2027年全球二氧化碳排放量）以及AI能力预测（如未来某个功夫节点上Humanity's Last Exam的得分）。 在全球碳排放预测上，六款模型都以为2027年的排放量会高于2025年，但具体数值吩扃显著。Claude S4.5、DeepSeek R1和GPT-4o的预测相对守旧，靠近汗青趋向的一连；GPT-5.4的预测略高；LLaMA 3.3和GPT-OSS的预测最为激进，LLaMA 3.3给出了所有模型中最高的预测值。这注明分歧AI系统内嵌了分歧的"世界模型"——关于减碳速度、技术进取对能源结构影响的隐含判断各有分歧。 在AI能力预测上，六款模型对GPQA Diamond和MMMLU这两个已经靠近鼓和的榜单都预测会进一步提升，但幅度普遍不大（1%到3%），暗示它们预期这些榜单很快就会被"考满"。对于Humanity's Last Exam这个更盛开、更难的测试，预测吩扃更大，GPT-5.4最为乐观，预测到2027年10月无工具版本的得分会从当前56.8%跃升至74%，有工具版本从64.7%升至82%；DeepSeek R1则更为守旧，预测幅度较幼。六款模型都预期AI能力会在2026到2027年间持续提升，这种一致性自身也很有意思——它反映了AI系统对自身领域未来走向的某种"共识"，只管这种共识很可能来自对从前法规的表推，而非真正的洞察。 在标题天生阶段，钻研团队使用GPT-4o将每篇论文提要分化为三个结构化组件：问题陈述、技术蹊径和了局指标。在这个过程中，所有可能泄露答案的信息都被剔除——蕴含论文新提出的名词缩写、步骤定名和系统名称。这确保了AI在答题时无法通过"认出"答案来得分。 标题质量由Grok-3进行独立审核（之所以用Grok-3而不是GPT-4o，是为了预防"自己出题自己打分"的误差）。审核尺度分为四类：忠诚性（标题是否正确反映论文内容）、可验证性（结论是否能够客观判断长短）、扰动有效性（对于变体是否题，扭转是否真正使陈述不再成立）以及滋扰项质量（对于四选一标题，谬误选项是否足够蛊惑人而又不正确）。 钻研者还招募了十位来自牛津大学、耶鲁大学、密歇根大学、芝加哥大学和香港中文大学丽江校区的钻研生级别专家，在同样的尺度下对标题进行人为审核，并与Grok-3的判断进行比对。了局显示AI审核员在保留高质量标题方面比人类更为严格，误伤有效标题标情况较少，而人类审核员在某些情况下对吞吐天堑的容忍度更高。总体而言，两者的一致性足够高，确认了自动化审核流程的靠得住性。 盛开性设计题的评分则选取了另一套机造：吓咨带有网络搜索能力的GPT-5.4 mini查抄AI的回覆是否蕴含截止日期之后才出现的信息（若是蕴含则视为泄题，该答案不计分），而后再从方向吻合度、技术具体性、新鲜性、可凶咴四个维度别离打0到10分，取均匀值作为最终得分。钻研者还对这套评分系统进行了人机一致性验证，在60个例子上与三位CS博士评委的打分进行对比，皮尔逊有关系数为0.34（拥有统计显著性），均匀绝对误差为0.75分，AI评委略微偏宽松（均匀高估0.26分），但总体上与人类判断有足够的有关性。 说到底，这项钻研的结论能够用一个单一的迸作来概括：AI像一个知识渊博、博览群书的图书治理员，可能在你提问时迅速找到有关资料，甚至能在四个候选技术蹊径中鉴别出哪个最合理。但当你问它"这本书或许什么时辰会出版"，或者"这项钻研最终会不会成功"，它的回覆和随机猜测险些没有区别——并且它还会用极度自负的语气通知你它的"猜测"。 这并不是AI的失败，而是对AI当前能力天堑的精确描述。预测科学进展不只必要知识，还必要理解发现是若何在不确定性中诞生的，必要感知哪些钻研方向在蓄积能量，哪些看似可行实则走入了死胡同。这种能力，目前的大说话模型还远约�挥邪盐�。 有一个细节出格值得记�。篈I对高影响力的突破性发现预测最差，而对通常水准的钻研预测相对较好。这意味着，AI系统的知识图谱固然无边，但对于那些真正扭转领域走向的"奇点时刻"，它的预测能力最弱——而这刚好是科学预测最有价值的部门。有兴致深刻相识这项钻研的读者，能够通过arXiv编号2605.22681查阅齐全论文。 A：CUSP蕴含五种标题类型：判断某项科学申明能否在指定日期前实现的是否题、将原始申明微调后形成的变体是否题（正确答案为"否"）、从四个技术蹊径当选出真正实现突破的机造推理选择题、要求AI提出解决规划的盛开性设计题，以及预测某个科学里程碑产生月份的功夫预测题。 A：AI在科学预测中存在两大主题问题。第一是"是否判断"险些等同于随机猜测，正确率在45%到52%之间，与掷硬币无异。第二是系统性过度自负，AI的自负水平远高于现实正确率，在功夫预测上尤为严沉，并且这种失准在截止日期前后出现出复杂、不一致的变动模式，注明AI没有不变靠得住的不确定性感知机造。 A：钻研发现，即便为AI提供充分的汗青知识，它在预测未来科学事务上仍与"全知模式"存在巨大的"预测天堑"。这注明预测能力的缺失不能用信息不及来诠释——AI短缺的是将已有知识转化为靠得住前瞻判断的能力。出格是对于高影响力的突破性发现，这个天堑最大，GPT-5.4在高引用论文上的预测天堑高达0.875。