然而近日，苹果团队的一篇论文对 LLM 的推理能力提出了质疑，并提出了自己的概想 ——像 DeepSeek-R1、o3-mini 这类模型现实上底子没有进行推理，只是很善于影象模式而已
苹果从问题复杂性的角度探索前沿推理模型（LRM）的推理机造，没有选取用尺度基准（例如数学问题），而是选取可控的谜题环境，通过调整谜题元素并保留主题逻辑，系统地扭转复杂度，并检验解决规划和内部推理（图 1 顶部）。
这些谜题：(1) 对复杂性进行细粒度节造；(2) 预防现有基准中常见的传染；(3) 仅需明确提供的规定，强调算法推理；(4) 支持基于仿照器的严格评估，从而实现精确的解决规划查抄和具体的故障分析。
首先，只管这些模型通过强化进建习得了复杂的自我反思机造，但它们未能发展出合用于规划工作的泛化问题解决能力，其机能在超过肯定复杂度阈值后会崩盘至零。
其次，苹果在等效推理推算前提下对 LRM 和尺度 LLM 进行了比力，揭示了三种分歧的推理机造（图 1 底部）。其中对于更单一、低组合性的问题，尺度 LLM 阐发出更高的效能和正确性。随着问题复杂度的适度增长，思想模型会获得优势。然而，当问题达到高复杂度且组合深度更长时，两种模型类型的机能城市齐全崩溃（图 1 左下）。值妥贴心的是，靠近这个崩溃点时，只管 LRM 的运行速度远低于代数限度，但随着问题复杂度的增长，它们起头削减推理工作量（以推理功夫 token 衡量）（图 1 中下）。这批注，相对于问题复杂度，LRM 的推理能力在推理功夫尺度上存在底子的限度。
最后，苹果对中央推理轨�；蛩枷氲姆治鼋沂玖擞敫丛有杂泄氐哪Ｊ剑涸诮系ヒ坏奈侍庵�，推理模型通�；峋≡缂鸪稣返慕饩龉婊�，但会低效地持续索求谬误的代替规划 —— 这是一种「过度思虑」景象。在中等复杂度下，正确的解决规划只有在宽泛索求谬误蹊径后才会出现。超过肯定的复杂度阈值，模型将齐全无法找到正确的解决规划（图 1 右下）。这批注 LRM 拥有有限的自我建改能力，固然很有价值，但也露出出其底子的效能低下和显著的扩大限度。
对当前基于既定数学基准的 LRM 评估范式提出质疑，并利用算法谜题环境设计了一个可控的尝试平台，该环境可能凭据问题复杂性进行可控的尝试。尝试批注，最先进的 LRM（例如 o3-mini、DeepSeek-R1、Claude-3.7-Sonnet-Thinking）依然未能开发出可泛化的问题解决能力。在分歧环境中，当复杂度超过肯定水平时，正确率最终会降至零。苹果发现 LRM 的推理能力在问题复杂性方面存在一个扩大极限，这一点能够从思想 token 在达到某个复杂性点后出现的反直觉降落趋向中看出。苹果质疑当前基于最终正确率的评估范式，并借助确定性谜题仿照器将评估领域扩大到思想轨迹的中央解。分析批注，随着问题复杂度的增长，正确的解会系统性地呈此刻思想的后期，而谬误的解则不然，这为理解推理模型 (LRM) 中的自我建改机造提供了定量层面的见解。苹果发现 LRM 在执行精确推算方面存在一些令人惊讶的局限性，蕴含它们无法从显式算法中获益，以及它们在分歧谜题类型之间的推理不一致。
在这篇论文的作者中，共统一作为 Parshin Shojaee，她此刻为 Virginia Tech 三年级博士生，且为苹果的钻研实习生。另一位共一 Iman Mirzadeh 为苹果的 ML 钻研工程师。此表，Yoshua Bengio 的兄弟 Samy Bengio 也参加了这项工作，他现为苹果的 AI 和机械进建钻研高级总监。
目前，我们尚不明显近期基于强化进建的思想模型所观察到的机能提升是归因于「更多接触已成立的数学基准数据」，还是归因于「分配给思想 token 的显著更高的推理推算能力」，又或是归因于「基于强化进建的训练所开发的推理能力」？
最近的钻研通过比力基于强化进建的思想模型与其非思想尺度 LLM 对应的上限能力 (pass@k)，利用已成立的数学基准索求了这个问题。他们批注，在一样的推理 token 预算下，非思想 LLM) 最终能够在 MATH500 和 AIME24 等基准测试中达到与思想模型相当的机能。
苹果还对前沿的 LRM 进行了比力分析，例如 Claude-3.7-Sonnet（有思想 vs. 无思想）和 DeepSeek（R1 vs V3）。了局如图 2 所示，在 MATH500 数据集上，当提供一样的推理 token 预算时，思想模型的 pass@k 机能与非思想模型相当。然而，苹果观察到这种机能差距在 AIME24 基准上有所扩大，在 AIME25 上进一步扩大。这种不休扩大的差距带来了诠释上的挑战。
这能够归因于：（1）复杂性不休增长，必要更复杂的推理过程，从而揭示思想模型在更复杂问题上的真正优势；或者（2）在较新的基准（尤其是 AIME25）中数据传染削减。有趣的是，人类在 AIME25 上的阐发现实上高于 AIME24，这批注 AIME25 的复杂度可能较低。然而，模型在 AIME25 上的阐发比 AIME24 更差 —— 这可能批注在前沿 LRM 的训练过程中存在数据传染。
鉴于这些不合理的观察了局以及数学基准不允许对问题复杂性进行节造把持的事实，苹果转向了可能进行更精确和系统尝试的谜题环境。
汉诺塔谜题（Tower of Hanoi）蕴含三个桩子和 n 个大幼分歧的圆盘，这些圆盘按大幼挨次（最大的在底部）堆叠在第一个桩子上。指标是将所有圆盘从第一个桩子移动到第三个桩子。有效的移动方式蕴含一次只移动一个圆盘、只取桩子顶部的圆盘，以及始终不要将较大的圆盘放在较幼的圆盘上。此工作的难度能够通过初始圆盘的数量来节造，由于初始圆盘数量为 n 时所需的最幼移动次数为 2^n ? 1。然而，在本钻研中，苹果不合最终解决规划的最优性进行评分，而只衡量每次移动的正确性以及是否达到指标状态。
跳棋（Checker Jumping）是一个一维谜题，将红色棋子、蓝色棋子和一个空格排成一条线。指标是互换所有红色和蓝色棋子的地位，有效地镜像初始配置。有效的移动蕴含将棋子滑入相邻的空位，或跳过刚好一个相反色彩的棋子落入空位。在谜题过程中，任何棋子都不能后退。该工作的复杂职能够通过棋子的数量来节造：若是棋子数量为 2n，则所需的最幼移动次数为 (n + 1)^2 ? 1。
过河（River Crossing）是一个约束满足规划难题，涉及 n 个参加者及其对应的 n 个代理，他们必须乘船过河。指标是将所有 2n 个个别从左岸运送到右岸。船最多可载 k 幼我，且不能空载。当参加者与另一个代理在一路而没有自己的代理时，会出现无效情况，由于每个代理都必须�；て淇突馐芫赫淼那趾�。此工作的复杂性也能够通过存在的参加者 / 代理对的数量来节造。当 n = 2 或 n = 3 对时，使用船容量 k = 2；当对数较大时，使用 k = 3。
积木世界（Blocks World）是一个积木堆叠难题，要求将积木从初始配置沉新分列成指定的指标配置。指标是找到实现此转换所需的至少移动次数。有效移动仅限于任何堆叠的最顶层积木，该积木能够搁置在空堆叠上或另一个积木之上。此工作的复杂职能够通过存在的积木数量来节造。
在复杂度适中的第二种状态下，可能天生长思想链的推理模型的优势起头显露，推理、非推理模型之间的机能差距起头扩大。
图 6 批注，所有推理模型在面对复杂度变动时都出现出类似的模式：随着问题复杂度的提升，模型正确率逐步降落，直至超过模型特定的复杂度阈值后齐全崩溃（正确率归零）。
本文还发现推理模型最初会随着问题复杂度成比例地增长思想 Token 使用量。然而，当靠近临界阈值（该阈值与其正确率崩溃点高度吻合）时，只管问题难度持续增长，模型却会反直觉地削减推理投入。这一景象在 o3-mini 系列变体中最为显著，而在 Claude-3.7-Sonnet（思想版）模型中相对较轻。值妥贴心的是，只管这些模型的推理天生长度远未达到上限，且占有充足的推理推算预算，但随着问题复杂度提升，它们却未能有效利用思想阶段额表的推算资源。这种行为批注，当前推理模型的思想能力相对于问题复杂度存在底子性的扩大局限。
对于单一问题（低复杂度）：推理模型通常在思想早期就能找到正确解（绿色散布），但随后持续索求谬误会（红色散布）。值妥贴心的是，与正确的解决规划（绿色）相比，谬误会决规划（红色）的散布更偏差于思想的结尾。这种景象，在文件中被称为过度思虑（overthinking），导致了推算的浪费。
当问题变得稍微复杂时，这种趋向就会逆转：模型首先索求不正确的解决规划，而后再得出正确的解决规划。此时谬误会（红色）的散布地位相较于正确解（绿色）显著下移。
如图 8a 和 8b 所示，在汉诺塔环境中，即便本文在提醒中提供算法 —— 以便模型只必要执行划定的步骤 —— 模型机能也不会提高，并且观察到的崩溃依然产生在统一点左右。
此表，在图 8c 和 8d 中，本文观察到 Claude 3.7 Sonnet thinking 模型阐发出截然分歧的行为模式。该模型在提出的解决规划中初次出现谬误的功夫往往较晚，而在过河谜题中，该模型仅能天生有效解直至第 4 步。值妥贴心的是，该模型在解决必要 31 步的问题（N=5）时能达到近乎美满的正确率，却无法解决仅需 11 步的过河谜题（N=3）。这可能批注网络上 N>2 的过河谜题范例较为稀缺，意味着 LRMs 在训练过程中可能较少接触或影象此类事俘。
最大可解规模且没有任何推理空间：DeepSeek：12 个圆盘；Sonnet 3.7 和 o3-mini：13 个圆盘。若是你仔细观察模型的输出，就会发现，若是问题规模过大，它们甚至不会进行推理。
至少对于 Sonnet 来说，一旦问题规模超过 7 个圆盘，它就不会尝试进行推理。它会陈述问题自身以及求解算法，而后输出解决规划，甚至不会思考每个步骤。
有趣的是，这些模型在每次移动时都有 X% 的概率选出正确的 token。即便有 99.99% 的概率，由于问题规模呈指数级增长，模型最终也会犯错。
此表，苹果论文对游戏复杂性的解读也极度令人猜疑 仅仅由于汉诺塔谜题必要的步数比其他塔多得多，而其他的只必要二次或线性更多的步数，这并不料味着汉诺塔谜题更难。
《既往深咎》BY糠木至于阿贾克斯，这家荷兰俱乐部在荷甲联赛中排名第五，获得了欧协联资格赛的参赛权。这是一个重要的区别，再加上需要移居国外，这一选择可能并不符合球员的意愿。达尼曾在2019/20赛季租借效力于英超阿森纳，那段经历对他来说并不愉快。上海市公安局闵行分局刑侦支队十一队民警 宋之凡：他并不是想去买玉石，他是想要参与到其中赚钱，在直播间进行倒卖，就能够赚取差价。《既往深咎》BY糠木《《咬痕》BY轻风几许》行业发展的底层逻辑，从来不是单点突破，而是全产业链的协同聚力与技术共创。这既是歌尔光学坚持主办行业峰会的初衷，也是歌尔企业文化理念“一起创造、一起分享、一起成长”在XR产业中的真实映射。稍后进行的夜场比赛更引人关注，原因无他，这是发生在两位05后之间的直接对话，捷克人门希克迎战巴西超人气新星丰塞卡，谁赢谁将首次杀进大满贯四强。最终，比赛同样在三盘内解决战斗，门希克笑到最后。
20260606 ? 《既往深咎》BY糠木毫无疑问，荷兰是世界足坛最伟大的“无世界杯冠军国家”。他们曾三次闯入世界杯决赛——这是所有从未夺冠国家中最多的纪录。他们孕育出了无数足球传奇人物，从约翰-克鲁伊夫到马尔科-范巴斯滕，再到丹尼斯-博格坎普；他们创造了“全攻全守”足球哲学，拥有众多传奇俱乐部，也让那一身标志性的橙色球衣闻名于世。干爹你好狂[香江]免费阅读充满自豪。嗯，我觉得每个葡萄牙人都会为像C罗这样的球员在足球领域代表国家而感到自豪，现在能加入这支队伍，更近距离地与他相处，更是一件值得骄傲的事。我们希望这——不知道会不会是他最后一次世界杯，但我们希望一切顺利，因为凭他为国家所做的一切，他也值得赢得这座冠军奖杯。
20260606 ? 《既往深咎》BY糠木作为参照，一名熟练的人类研究员通常需要四到八小时才能达到约 4 倍加速。Anthropic 提醒，绝对倍数受起始代码优化空间的影响，不应直接解读为真实世界的训练加速，但在同一测试条件下，一年内从 3 倍到 52 倍的变化，这个结果值得重视。《校园上课教室BY笔趣阁最新章节更新》报道称，尽管已经收到了巴黎圣日耳曼提供的首份职业合同，但18岁的后卫埃马纽埃尔-姆本巴似乎越来越接近在今夏离开俱乐部。
京公网安备11010202000001号
