近年来 ，随着大模型从单一问答 ，走向深度钻延注医疗征询、多模态天生和长程 Agent 工作 ，一个基础问题变得越来越难回覆：我们到底应该怎么判断模型输出的质量 ？
以 Deep Research 汇报评估为例 ，传统步骤可能只是对比天生汇报和参考汇报的文本差距 ，或者让大模型给一个总体分数。但一篇好汇报并不愿定要和参考汇报写得一样 ，也很难用一个抽象分数概括。它必要同时满足多个要求 ，例如是否回覆了用户问题、覆盖了关键信息、引用了靠得住证据、论证是否清澈、结论是否有效等等。
Rubrics 的作用 ，就是把这些吞吐的「好汇报」尺度拆解成明确的评价项 ，让评审者或 judge model 逐项查抄和打分。这样不仅能判断汇报总体好不好 ，还能指出具体问题 ，并进一步把这些细粒度反馈转化为训练信号 ，援手模型针对覆盖不及、证据不充分或逻辑不清等问题进行优化。
这意味着 ，大模型的训练与评测在从单一正确性信号 ，转向多维度、可诠释的质量尺度。Rubrics ，在成为衔接人类进展、工作要求和模型行为的沉要接口。
近日 ，来自中国人民大学高瓴人为智能学院的钻研团队颁布综述论文《The Rules of the Game: A Survey of Rubrics for Large Language Models》。论文共 40 页 ，系统梳理了 Rubrics 在大模型中的界说、机关步骤、训练利用、评测场景与盛开挑战。论文同时守护了持续更新的 GitHub 项目 ，方便社区跟踪这一急剧发展的方向。
早期大模型的工作往往拥有相对清澈的输入输出大局 ，并且答案的正确性是容易评估的。例如问答工作能够比力尺度答案 ，代码工作能够运行测试用例 ，数学工作能够验证最终了局。对于这些工作 ，正确率、执行成功率或规定化嘉奖可能提供较直接的训练和评测信号。
但随着模型能力扩大 ，工作难度也产生了显著变动。大模型在被要求实现更盛开、更高风险、更复杂的工作。例如：自动搜索资料并天生钻研汇报；在医疗、司法、金融等专业领域给出分析；挪用表部工具实现多步工作；在多模态场景中天生或理解复杂内容。此时 ，输出质量通常不再由一个答案决定 ，而是由多个维度共同决定。
Rubrics 的价值在这里显露出来。它将「好答案」拆解为一组明确的评价项 ，例如事实正确性、覆盖度、证据支持、推理严谨性、安全性、体式合规性和现实可用性。评测者能够逐项打分 ，也能够将这些分数聚合为最终了局。与一个黑箱分数相比 ，Rubrics 提供的是可查抄、可调整、可诊断的质量尺度。
在教育评估中 ，rubric 通常指一套评分指南：它注明评估者应该看哪些方面 ，以及分歧质量水平别离意味着什么。放到 LLM 中 ，Rubrics 能够理解为一组天然说话大局的评价尺度 ，每个尺度对应一个具体、可评估的质量维度。
这篇综述给出了统一大局化：一个 rubric set 能够由若干 rubric item 组成 ，每个 item 蕴含天然说话描述（具体的 rubrics 示例能够拜见图 1 下半部门）和沉要性权沉；对于输入工作和模型输出 ， judge model 逐项给出分数 ，再通过均匀、加权求和或隐式聚合得到整体评价。
更沉要的是 ，论文对 Rubrics 与几个容易混合的概想进行了分辨和会商。LLM-as-a-Judge 解决的是「谁来评」 ，Rubrics 解决的是「按什么尺度评」；reward model 通常直接输出一个标量分数 ，而 Rubrics 将评价尺度显式列出；RLVR 依赖自动可验证的答案 ，而 Rubrics 更适合那些必要多维度判断、难以齐全验证的盛开式工作。
Rubrics 是否有效 ，首先取决于它们自身是否足够好。一个过于宽泛的尺度 ，例如 “回覆该当有援手” ，很难提供不变的训练和评测信号；一个过于细碎或沉复的尺度 ，又可能带来冗余评分和噪声。
第二类是对比天生。相比只看一个答案 ，对比天生会输入偏好对 ，例如一个高质量回覆和一个低质量回覆 ，让模型总结二者差距 ，从而提取更有判断力的尺度。
第三类是迭代优化。钻研者起头不再把 Rubrics 机关当成一次天生工作 ，而是引入迭代地验证、分化、过滤等流程。例如检测某个尺度是否能不变区吩飓好对 ，递归拆分过粗的尺度 ，最终得到更原子、更紧凑的 rubric set。
第四类是在线与共同演化。对于强化进建和 Agent 工作来说 ，静态 Rubrics 可能很快过期。因而 ，部门工作尝试让 Rubrics 随着 policy rollouts 更新 ，将新出现的谬误行为纳入评价尺度 ，使 Rubrics 与模型训练过程共同演化。
在模型训练中 ，Rubrics 的主题作用是把复杂质量要求转化为可优化的监督信号。相比一个整体偏好标签 ，Rubrics 能通知模型「哪里做得好、哪里必要改」 ，因而出格适合盛开式工作和多步 Agent 工作。
尺度的基于 rubrics 做 policy RL 的方式是：给定输入和模型天生的回覆 ，judge model 按 Rubrics 逐项打分 ，再将分数聚合为一个嘉奖 ，用于 PPO、GRPO 等强化进建算法。这个过程能够作用在最终答案上 ，也能够作用在齐全轨迹上。对于工具挪用 Agent、深度钻研 Agent 或多模态推理模型 ，轨迹级 Rubrics 尤其沉要 ，由于好多谬误并不会直接体此刻最终答案中。示例图如下：
不外 ，将多维 Rubrics 单一加权为一个标量嘉奖是比力粗粒度且不矫捷的 ，由于分歧尺度之间可能存在依赖、矛盾或硬约束关系。例如医疗问答中的安全性不应只是一个通常加分项 ，而可能是 veto 前提（一旦违反则 reward 为 0）�；诖� ，很多工作进一步提出设计更先进更鲁棒的 rubric reward：蕴含可进建的 Rubric 权沉、引入 veto 或 saturation 机造、结合环境反馈、按难度进行 curriculum 训练 ，以及在 RL 算法内部结合 rubrics 设计优势估计。
还有一类工作将 Rubrics 从「过后打分工具」推动为「天生过程中的领导」。模型能够先天生或读取 Rubrics ，再据此规划回覆；也能够把未满足的 Rubric 转化为反馈 ，领导下一轮改写。这意味着 Rubrics 不仅能通知模型一个输出得几多分 ，还能援手模型索求更高质量的输出空间。
Rubrics 也被越来越多地用于 reward model training。传统 reward model 往往只输出一个标量分数 ，难以诠释为什么某个回覆更好。引入 Rubrics 后 ，reward model 能够被训练为先凭据尺度进行分析 ，再给出偏好判断；也能够输出多个维度的分数 ，并通过显式聚合得到最终 reward。凭据综述的整顿 ，Rubrics 在 reward model training 中重要阐扬三类作用。
传统 reward model 通常直接输出一个标量分数 ，评价尺度隐含在模型参数中 ，钻研者很难判断模型到底凭据什么做出偏好判断。引入 Rubrics 后 ，嘉奖模型能够被训练为先萦绕给定尺度进行逐项分析 ，再输出最终偏好判断；也能够对分歧 rubric 维度别离打分 ，再通过显式聚合得到最终 reward。这样一来 ，嘉奖模型不再只是一个黑箱打吩祺 ，而是可能展示「为什么这个回覆更好」「哪些维杜装响了最终分数」。
除了最终偏好是否正确之表 ，Rubrics 还能够作为结构化参考单元 ，用来约束嘉奖模型的中央分析过程。例如 ，一些工作会将人为标注或老师模型天生的理由拆解为 rubric-level 的参考信号 ，并在训练中激励 reward model 的分析过程与这些尺度维持一致；也有步骤要求模型先天生 Rubrics ，再进行分析和判断 ，并通过额表的 proxy model 评估天生 Rubrics 的质量 ，从而把 Rubrics 自身也纳入优化指标。
传统偏好数据中往往蕴含长度、体式、语气等浅层线索 ，reward model 可能学会这些表表特点 ，而不是进建真正决定回覆质量的成分。Rubrics 能够援手鉴别影响回覆质量的主题维度 ，并据此机关更有针对性的训练样本 ，使嘉奖模型更关注事实性、齐全性、安全性、推理质量等内容尺度 ，而不是依赖「回覆更长」「体式更整齐」这种。
除了训练 ，Rubrics 另一个常见的用处是模型评测。对于盛开式工作 ，Rubrics 相当于一份显式的评价尺度：它界说了必要查抄的维度 ，若何给分等等。本文依照通用工作和领域特定的工作对已有的基于 rubrics 评估的 benchmark 进行了分类：
在通用工作中 ，Rubrics 已被用于推理能力、深度钻延注盛开式天生、通用 Agent 能力和对齐评测。例如在数学推理工作中 ，评测不再只看最终答案 ，还会查抄中央步骤的正确性；深度钻研工作的评测会同时关注信息覆盖、证据支持等维度；Agent 工作有关的评测则进一步关注工具选择、参数挪用、和多轮执行靠得住性等方面。
在专业领域中 ，Rubrics 的价值更显著。例如 ，在医疗问答领域 ，人们必要专家造订尺度来查抄模型回覆中的医学正确性、安全风险和沟通质量等等；在司法和金融工作中 ，我们必要评估事实合用、过程可审计、风险披露和实务可操作性；在这部门 ，综述依照评估的对象（中央轨迹和最终答案）和尺度（事实性、安全性、专业表白和现实可用性）对已有的工作进行了具体的分类和会商。
首先是 reward hacking。模型在训练过程中可能学会 hack rubrics 的表表特点 ，而不是真正提升工作质量。若何设计更稳重的 Rubrics、并让设计 Rubrics 随训练过程的更新机造 ，是未来沉要方向。
其次是 rubric-based reward model 的泛化。好多 Rubrics 来自特定工作或领域 ，reward model 可能过拟合这些尺度而迷失泛化性。未来必要钻研若何让嘉奖模型在新工作、新领域下依然有效地基于 Rubrics 进行 reward 推算 ，尤其是在医疗、司法、金融和科学推理等高门槛领域。
第三是评测误差。Rubrics 能够提高评测的可诠释性 ，但并不能自动解除 bias。Rubric 的写法 ，judge model 的拔取等等城市对最终的评测产生 bias。若何设计更鲁棒更不变的 Rubric-based evaluation 是一个必要解决的问题。
此表 ，个性化 Rubrics 和 Rubric 安全也在成为新问题。个性化 Rubrics 能够更好地刻画用户偏好 ，但也可能过杜篆合浅层偏好 ，甚至与安全尺度矛盾。与此同时 ，Rubrics 自身也可能成为攻击面：恶意或荫蔽的尺度改写可能偷偷扭转 judge 的偏好方向 ，并进一步影响训练数据和模型行为。
这篇综述的主题意思 ，不只是列举了 Rubrics 有关工作 ，而是把一个在急剧扩张的钻研方向放进了统一框架中：Rubrics 是大模型训练与评测中的显式质量接口。它界说尺度 ，组织反馈 ，衔接人类偏好、工作约束与模型优化。
随着大模型持续走向盛开式、高风险和 Agentic 利用 ，系统必要的不只是更强的天生能力 ，还必要更明显的质量界说。Rubrics 的价值在于此：它让「好答案」不再只是一个吞吐直觉 ，而成为一组能够会商、查抄、批改和优化的明确尺度。
纲手的浮殇动漫TXT百度云在庞大的自动化体量下，商业撮合将大幅减少对冗长人力沟通的依赖。最终本体会成为企业级具备决策能力、生产能力的增长引擎，也就是企业B2B增长的中心化入口。届时，曼联阵中可能会出现一张新面孔——亚特兰大中场埃德松-席尔瓦。这名巴西球员将前往卡灵顿训练基地接受体检，随后以约3900万欧元转会至曼联。纲手的浮殇动漫TXT百度云免费的网站www/大全百度搜索皇家马德里这样的俱乐部，体育层面的决策理应由权责对应的负责人敲定。自劳尔-冈萨雷斯-布兰科出任体育总监、这位身披皇马战袍次数最多的传奇球员履职以来，相关职责便落到了他的肩上。劳尔正全身心搭建俱乐部未来十年的竞技蓝图，青训体系是这套计划的核心支柱之一。无论是体育部门统筹，还是一线队主帅人选敲定，都该由劳尔主导决策。斯蒂芬斯表示：借此番留言向各位致以心里话：由衷感谢效力期间所有人给予的温暖与鼎力支持。队友、全体球迷一直善待于我，心中满是想要紧紧相拥的感激。在这家俱乐部度过的时光，是我无可替代的珍贵回忆。
20260607 ? 纲手的浮殇动漫TXT百度云龙塞罗表示，没有任何皇马西班牙球员参加世界杯是“巨大的意外”。谈到卡瓦哈尔落选，他认为德拉富恩特本应因其“资历和领导力”将其征召。他还对贡萨洛-加西亚和赫伊森的落选发表了看法。两个球球抖动抓球球百度视频·亦庄核心、路东区上一代产品及商住房居多，发展近乎饱和，暂无新增供地，为满足教育需求、家庭结构变化和居住升级的需求，这是改善型需求爆发区。新河西的客户们认可河西高端资源、优质教育及土地稀缺性，明确选择招商序，就是选择入主亦庄高端生活中心。
20260607 ? 纲手的浮殇动漫TXT百度云HR 咨询师 Claire Koryczan 则从积极角度解读了这一现象：「在当今日常生活中，口头交流已经变得越来越少见，所以一项鼓励人们强化对话沟通能力的技术，只会是一种积极的发展。」《《深度开发》by我叫大海百度网盘》近日，国家标准GB/T 47517-2026《信息技术手语数字人技术规范》正式发布，将于2026年11月1日起正式实施。该标准由之江实验室、中国电子技术标准化研究院、中国聋人协会等单位牵头起草。
京公网安备11010202000001号
