本文作者 Zhongzhu Zhou 是 TogetherAI 的 Senior Research Scientist，悉尼大学博士，钻研方向为高效机械进建系统，方向覆盖 模型训推算法与系统协同设计，LLM 压缩与量化 。团队成员均来自 TogetherAI，悉尼大学以及伊利诺伊大学厄巴纳 — 香槟分校 。
长高低文模型越来越强，但服务时的瓶颈往往不是算力，而是 KV Cache：每天生一个 token，都要从显存中读取越来越长的汗青 key，value 。高低文越长、batch 越大，KV Cache 越吃显存，也越吃带宽 。把汗青 KV 压到 2-bit，理论上能够让汗青段显存削减约8 倍 ；但真正难的是，压完之后推理能力不能崩，系统也必须能在真实 serving 框架里跑起来 。
为什么 2-bit KV Cache 这么难？INT2 只有 4 个量化等级，而 KV activation 中时时有少数幅值极大的 outlier channel 。若是这些 outlier 主导量化尺度，大无数正常值会被挤到很少的有效等级里，把稳力散布很快漂移 。通常 Hadamard 旋转能把 outlier 摊平，但它不知路模型在 attention 里真正读哪些方向 。OSCAR 的主题就是把旋转指标从「沉建原始 K/V 向量」改成「保留 attention 消费 KV 的方式」 。
相比之前量化的工作，好比 TurboQuant 压缩的是向量，但忽略了真正影响模型的是 attention 的质量，OSCAR 保留的是 attention 真正会读的方向 。朴素 INT2 和全模型层的 3-bit K/V TurboQuant 城市在难题推理工作上显著掉分 ；OSCAR 在约2.28 effective bits per KV element下仍能靠近 BF16，并在 Qwen3-4B-Thinking 上相对 3-bit K/V TurboQuant 最高提升40.1 分 。
图 1 对比了 naive INT2、Hadamard-only、clip-only 和 OSCAR 在量化误差传布链路上的差距 。关键点是，原始 K/V 的沉建误差并不能齐全诠释模型最终阐发 ；真正影响推理质量的是 attention-score KL、attention-block output MSE 以及后续 hidden-state error 。OSCAR 的优势不只是让向量数值更滑润，而是把量化误差压到 attention 不敏感的方向上 。
具体来说，对 key 来说，量化误差会进入 attention logits，也就是 QK?，因而 OSCAR 用 query covariance（Q?Q）机关 key 的旋转指标 ；对 value 来说，误差经过把稳力权沉进入输出，因而 OSCAR 使用 score-weighted value covariance（V?S?SV） 。离线校准阶段，OSCAR 从少量校准样本中估计这些 attention-aware covariance，为每层、每个 head 天生固定旋转和 clipping 阈值 。最终旋转写作R = U?Hadamard?bit-reversal：U 对准 attention 有关方向，Hadamard 分散 outlier，bit-reversal 平衡 INT2 分组，预防某个 group 被少数通路摆布 。
其中 sink token 和 recent window 维持 BF16，用来� ；� attention sink 与短期部门高低文 ；中央最长的汗青段存成旋转后的 INT2 。新 token 先写入 recent window，随着解码推动，最老的 recent token 再由融合 Triton kernel 执行 rotate /clip/quantize/pack，并 demote 到 INT2 history 。每 4 个 2-bit 值打包进 1 个 byte 。decode 阶段，OSCAR 在 GPU 上把缓存分成 BF16 段和 INT2 段：INT2 kernel 掌管 unpack、scale/zero point 还原和浮点累加，BF16 kernel 处置 sink/recent，最后用 online softmax merge 归并了局 。它同时兼容 paged KV、radix prefix cache 和 SGLang 的 fused kernel pipeline，因而能够直接用于长高低文 workload，而不是停顿在论文图内外 。
图 2 展示 OSCAR 从离线校准到在线 serving 的齐全蹊径 。左侧是离线阶段：OSCAR 从少量校准样本中估计 attention-aware rotation 和 clipping threshold，让 KV activation 在进入 INT2 前变得更适合量化 。右侧是在线阶段：sink/recent token 持续维持 BF16，中央最长的 history KV 进入旋转后的 INT2 cache，并在 SGLang paged KV 中实现真实 serving 。因而 OSCAR 不是单一量化技巧，而是一整套 2-bit KV Cache pipeline 。
OSCAR 在2.28 BPE下，Qwen3-4B-Thinking 距 BF16 仅3.78分，Qwen3-8B 距 BF16 仅1.42 分，Qwen3-32B 与 GLM-4.7-FP8 根基与 BF16 吃旖 。相比之下，QuaRot-INT2 和 naive INT2 在这些 reasoning /coding 工作上大多直接崩溃 ；TurboQuant 在全层 3-bit K/V、无 mixed-precision � ；さ钠秸柚孟�，也在幼模型推理工作上掉分显著 。
OSCAR还在128K长高低文设置下对中 / 大规模模型做了 RULER-NIAH 测试：OSCAR 在 Qwen3-8B 和 GLM-4.7-FP8 上都维持了显著更不变的检索机能，注明这种 attention-aware 旋转不仅能撑住短评测，也能抵抗超长汗青中 KV 误差的累积 � ；痪浠八�，OSCAR 是少数能在真近 2-bit 设置下仍维持现代 reasoning model 质量的步骤 。
系统收益也极度直接：相对 BF16 history storage，OSCAR 可削减约8×KV Cache memory ；在 100k context、batch-size-1、full prefix-cache hit 设置下，decode 最高约3×加快 ；在大 batch、同显存预算下，job-level throughput 最高约7× 。prefix cache 射中率越高，OSCAR 越能利用更幼的 KV footprint 提升并发吞吐，这对共享系统提醒、多轮 Agent、工具挪用循环等长前缀复用场景尤其沉要 。
图 3 是论文主了局表，蕴含 BF16、Saw-INT4、TurboQuant、QuaRot-INT2、Naive INT2 和 OSCAR 在四个模型、五个工作上的齐全对比 。BF16 是精度上界 ；Saw-INT4 是强 4-bit 参考，BPE 为4.25 ；TurboQuant 在这里使用无 mixed-precision � ；さ娜�3-bit K/V设置，BPE 为3.25 ；QuaRot-INT2 和 Naive INT2 是靠近 2-bit 的旋转 / 朴素基线，BPE 约2.25 ；OSCAR 则在2.28 BPE下运行 。
这张表的沉点不是单一模型，而是「低比特能不能不变」 。在 Qwen3-4B-Thinking 上，TurboQuant mean 为31.74，QuaRot-INT2 只有1.40，Naive INT2 为0.00 ；OSCAR 达到71.86，距离 BF16 只差3.78，并相对 TurboQuant 提升40.1 分 。在 Qwen3-8B 上，OSCAR mean 为69.42，距离 BF16 只差1.42，而 TurboQuant 为56.88 。到 Qwen3-32B 和 GLM-4.7-FP8，OSCAR 根基与 BF16 吃旖 � ；痪浠八�，在靠近 2-bit 的 KV 预算下，OSCAR 是表中唯一能在多模型、多工作上不变切近 BF16 的 INT2 步骤 。
图 4 单独看 AIME25 这个高难数学推理工作，并对比 KIVI-KV2、Kitty 和 OSCAR 。但由于 KIVI, KITTY 没有 framework 支持，无法进行 long context run，所以拔取了他们步骤唯一在 32K 汇报的了局 - AIME25 。在 Qwen3-8B 上，OSCAR 以2.38 BPE达到66.67，根基追平 BF16 的66.00，显著高于 KIVI-KV2 和 Kitty ；在 Qwen3-32B 上，OSCAR 达到74.00，甚至略高于 BF16 的72.59，也超过 Kitty 的69.26 。这注明 OSCAR 不只是相对 TurboQuant 有优势，在已有 KV-cache 量化步骤中，也能在靠近 2-bit 的预算下保住难题数学推理能力 。
图 5 展示 100k 高低文下的系统机能 。OSCAR 在 batch-size-1、full prefix-cache hit 的纯 decode 场景下最高约3×加快 ；在固定显存预算下，batch size 增大时，INT2 history 带来的 KV footprint 降低能够显著提高 job-level throughput，最高约7× 。这注明 OSCAR 不只是精度能保住，也能实打实降低显存带宽压力 。
图 6 展示 prefix-cache hit ratio 对端到端 serving throughput 的影响 。横轴是单用户吞吐，纵轴是单 GPU 吞吐 ；从 cache disabled 到 normal cache，再到靠近 100% warmup replay，吞吐前沿逐步表扩 。OSCAR 维持尺度 paged KV /prefix cache 抽象，因而共享系统提醒、多轮 Agent、工具挪用循环等长前缀复用场景能够直接受益 。
这些了局的一个沉要寓意是，OSCAR 并没有依赖「遴选少数层保留高精度」来保住分数 。好多低比特步骤在真正部署时会借助混合精度：第一层、最后一层或若干敏感层依然保留较高 bit，这会让均匀 bit 数上升，也会让 kernel 和 cache layout 变复杂 。OSCAR 的对比更严格：汗青 KV 主体维持统一的 INT2 暗示，只在 sink 和 recent 两个很幼窗口保留 BF16 。这样做的益处是，系统工程上更容易接入 paged cache、prefix cache 和批量调度，也更靠近真实服务场景中的显存预算 。
另一个值得强调的点是，OSCAR 的收益不是只在幼模型或短高低文上成立 。论文同时测试了 4B、8B、32B 以及 GLM-4.7-FP8 这样的大模型 ；既看了数学、代码、知识问答等 32K 推理天生工作，也看了 128K RULER-NIAH 长高低文检索 。短评测里，OSCAR 能靠近 BF16 ；长高低文里，它也能让 attention 散布随高低文增长更不变 。这注明 attention-aware rotation 不是只在某个 benchmark 上调参有效，而是在缓解 KV 误差随汗青长度累积这个底子问题 。
从利用角度看，这对长高低文 Agent 出格关键 。真实 Agent 往往蕴含很长的系统提醒、工具注明、汗青对话和检索内容，并且分歧要求之间存在大量共享前缀 。若是 KV Cache 只能用 BF16 存，系统很快会被显存卡� � ；若是直接做朴素 INT2，又可能让推理链条失真 。OSCAR 的设计刚好夹在两者之间：长汗青用 INT2 降显存和带宽，关键 sink/recent 用 BF16 兜住不变性，再让 prefix cache 复用共享前缀 � ；痪浠八�，它把「能压到 2-bit」和「能上线 serving」 放在统一个系统里思考 。
TurboQuant 是很强的通用 online vector quantization 步骤 ；OSCAR 针对的是 attention-aware 2-bit KV serving 。二者不是单一代替关系，例如OSCAR 的 最新codebase中已经在attention-aware rotation 引入了更强的 Lloyd Max Codebook，将压缩推向极致 。OSCAR 带来了一个怪异的概想：2-bit KV Cache 要能上线，旋转不只是「有没佑坠，而是必须对准 attention，并且要有真实 serving 系统支持 。
已满18Physical AI是他反复回到的落点：让AI从服务器走进机器人的关节、汽车的视觉系统、工厂的控制模块。这类芯片必须功耗低、延时短、能在极端温度和振动环境里稳定运行，还要能大批量量产。全球Physical AI市场规模预计从2025年的50亿美元，五年内增长到900亿美元，年复合增长率35%。中国是这个机会的核心战场：人形机器人生产基地全球最大，新能源汽车渗透率超过50%，工厂机器人密度在持续攀升，每一个环节背后，都需要大量芯片。而且当时我手上也有其他西乙和西甲球队的报价，但埃梅里特别执着。我参加了季前赛，踢得相当不错，可是呢，之后我还是有五六个月没上过场。后来在一场欧联杯对云达不莱梅的比赛里，我们队少一人作战，在中场休息时我还在热身，体能教练跑过来跟我说，“你要上场了，太棒了”，紧接着他就告诉我要去踢边后卫。已满18梦里梦表BY知春里同时，德国名将还透露了阿纳尔迪更多的相关细节，坦言在更衣室见到他时，“他状态极差，所以我完全理解他的决定，他实在别无选择。伤病在所难免，我们都是普通人，没人盼着发生这种事，但意外就是来了。”乔瓦尼-布兰基尼表示：“如今我们还面临另一个大问题：我们的很多俱乐部老板都是外国人，他们和当地没有联系。我们需要重新找回专业能力和投入精神。我刚开始接触青训时，从事这项工作的人很少。帮助孩子们的是一些没有合同的前球员，他们出于热爱去帮助更小的球员。他们这样做是因为热爱，也希望有一天那个孩子能够代表国家队出场。这一点必须找回来，因为如果没有对体育的热爱，就不可能找到解决办法。”
20260606 ? 已满18我们一直在进行很多内部训练赛。说实话，基本上每三天都会踢比赛。这对我们帮助很大，尤其是对于那些近期出场时间不是很多的球员来说，帮助非常大。不过没问题，我们会以良好的状态到达世界杯。《农夫伯伯下乡2国语版百度云》世界杯淘汰赛往往会发生在你们需要为职业生涯做出选择的时候，尽管这是非常重要的比赛。你现在处在什么阶段？你是否认为在比赛开始前就确定未来去向很重要？你是否已经100%确定留在巴塞罗那，还是仍然可能转会？
20260606 ? 已满18从2025年丰台“三冠王”到2026年持续领跑，观宸的登顶没有捷径。在改善盘进入全方位内卷的时代，只有那些产品力、兑现力、服务力做到极致的项目，才能真正穿越周期，成为市场用真金白银投票的冠军。《俏丽的幼蜜桃2美剧齐全版免费》汽车是一个典型的例子。过去几年，高通在智能座舱、辅助驾驶、车载连接和边缘计算上持续投入。这些能力放到智能体 AI 时代，正好可以转化为车内交互、道路感知和本地决策的一部分。机器人和工业设备也是类似逻辑，它们都需要本地计算、传感器接入、稳定连接和长期运行能力，这些恰恰是高通一直在补的拼图。
京公网安备11010202000001号
