本文作者 Zhongzhu Zhou 是 TogetherAI 的 Senior Research Scientist ，悉尼大学博士 ，钻研方向为高效机械进建系统 ，方向覆盖 模型训推算法与系统协同设计 ，LLM 压缩与量化。团队成员均来自 TogetherAI ，悉尼大学以及伊利诺伊大学厄巴纳 — 香槟分校。
长高低文模型越来越强 ，但服务时的瓶颈往往不是算力 ，而是 KV Cache：每天生一个 token ，都要从显存中读取越来越长的汗青 key ，value。高低文越长、batch 越大 ，KV Cache 越吃显存 ，也越吃带宽。把汗青 KV 压到 2-bit ，理论上能够让汗青段显存削减约8 倍；但真正难的是 ，压完之后推理能力不能崩 ，系统也必须能在真实 serving 框架里跑起来。
为什么 2-bit KV Cache 这么难 ？INT2 只有 4 个量化等级 ，而 KV activation 中时时有少数幅值极大的 outlier channel。若是这些 outlier 主导量化尺度 ，大无数正常值会被挤到很少的有效等级里 ，把稳力散布很快漂移。通常 Hadamard 旋转能把 outlier 摊平 ，但它不知路模型在 attention 里真正读哪些方向。OSCAR 的主题就是把旋转指标从「沉建原始 K/V 向量」改成「保留 attention 消费 KV 的方式」。
相比之前量化的工作 ，好比 TurboQuant 压缩的是向量 ，但忽略了真正影响模型的是 attention 的质量 ，OSCAR 保留的是 attention 真正会读的方向。朴素 INT2 和全模型层的 3-bit K/V TurboQuant 城市在难题推理工作上显著掉分；OSCAR 在约2.28 effective bits per KV element下仍能靠近 BF16 ，并在 Qwen3-4B-Thinking 上相对 3-bit K/V TurboQuant 最高提升40.1 分。
图 1 对比了 naive INT2、Hadamard-only、clip-only 和 OSCAR 在量化误差传布链路上的差距。关键点是 ，原始 K/V 的沉建误差并不能齐全诠释模型最终阐发；真正影响推理质量的是 attention-score KL、attention-block output MSE 以及后续 hidden-state error。OSCAR 的优势不只是让向量数值更滑润 ，而是把量化误差压到 attention 不敏感的方向上。
具体来说 ，对 key 来说 ，量化误差会进入 attention logits ，也就是 QK? ，因而 OSCAR 用 query covariance（Q?Q）机关 key 的旋转指标；对 value 来说 ，误差经过把稳力权沉进入输出 ，因而 OSCAR 使用 score-weighted value covariance（V?S?SV）。离线校准阶段 ，OSCAR 从少量校准样本中估计这些 attention-aware covariance ，为每层、每个 head 天生固定旋转和 clipping 阈值。最终旋转写作R = U?Hadamard?bit-reversal：U 对准 attention 有关方向 ，Hadamard 分散 outlier ，bit-reversal 平衡 INT2 分组 ，预防某个 group 被少数通路摆布。
其中 sink token 和 recent window 维持 BF16 ，用来�；� attention sink 与短期部门高低文；中央最长的汗青段存成旋转后的 INT2。新 token 先写入 recent window ，随着解码推动 ，最老的 recent token 再由融合 Triton kernel 执行 rotate /clip/quantize/pack ，并 demote 到 INT2 history。每 4 个 2-bit 值打包进 1 个 byte。decode 阶段 ，OSCAR 在 GPU 上把缓存分成 BF16 段和 INT2 段：INT2 kernel 掌管 unpack、scale/zero point 还原和浮点累加 ，BF16 kernel 处置 sink/recent ，最后用 online softmax merge 归并了局。它同时兼容 paged KV、radix prefix cache 和 SGLang 的 fused kernel pipeline ，因而能够直接用于长高低文 workload ，而不是停顿在论文图内外。
图 2 展示 OSCAR 从离线校准到在线 serving 的齐全蹊径。左侧是离线阶段：OSCAR 从少量校准样本中估计 attention-aware rotation 和 clipping threshold ，让 KV activation 在进入 INT2 前变得更适合量化。右侧是在线阶段：sink/recent token 持续维持 BF16 ，中央最长的 history KV 进入旋转后的 INT2 cache ，并在 SGLang paged KV 中实现真实 serving。因而 OSCAR 不是单一量化技巧 ，而是一整套 2-bit KV Cache pipeline。
OSCAR 在2.28 BPE下 ，Qwen3-4B-Thinking 距 BF16 仅3.78分 ，Qwen3-8B 距 BF16 仅1.42 分 ，Qwen3-32B 与 GLM-4.7-FP8 根基与 BF16 吃旖。相比之下 ，QuaRot-INT2 和 naive INT2 在这些 reasoning /coding 工作上大多直接崩溃；TurboQuant 在全层 3-bit K/V、无 mixed-precision �；さ钠秸柚孟� ，也在幼模型推理工作上掉分显著。
OSCAR还在128K长高低文设置下对中 / 大规模模型做了 RULER-NIAH 测试：OSCAR 在 Qwen3-8B 和 GLM-4.7-FP8 上都维持了显著更不变的检索机能 ，注明这种 attention-aware 旋转不仅能撑住短评测 ，也能抵抗超长汗青中 KV 误差的累积�；痪浠八� ，OSCAR 是少数能在真近 2-bit 设置下仍维持现代 reasoning model 质量的步骤。
系统收益也极度直接：相对 BF16 history storage ，OSCAR 可削减约8×KV Cache memory；在 100k context、batch-size-1、full prefix-cache hit 设置下 ，decode 最高约3×加快；在大 batch、同显存预算下 ，job-level throughput 最高约7×。prefix cache 射中率越高 ，OSCAR 越能利用更幼的 KV footprint 提升并发吞吐 ，这对共享系统提醒、多轮 Agent、工具挪用循环等长前缀复用场景尤其沉要。
图 3 是论文主了局表 ，蕴含 BF16、Saw-INT4、TurboQuant、QuaRot-INT2、Naive INT2 和 OSCAR 在四个模型、五个工作上的齐全对比。BF16 是精度上界；Saw-INT4 是强 4-bit 参考 ，BPE 为4.25；TurboQuant 在这里使用无 mixed-precision �；さ娜�3-bit K/V设置 ，BPE 为3.25；QuaRot-INT2 和 Naive INT2 是靠近 2-bit 的旋转 / 朴素基线 ，BPE 约2.25；OSCAR 则在2.28 BPE下运行。
这张表的沉点不是单一模型 ，而是「低比特能不能不变」。在 Qwen3-4B-Thinking 上 ，TurboQuant mean 为31.74 ，QuaRot-INT2 只有1.40 ，Naive INT2 为0.00；OSCAR 达到71.86 ，距离 BF16 只差3.78 ，并相对 TurboQuant 提升40.1 分。在 Qwen3-8B 上 ，OSCAR mean 为69.42 ，距离 BF16 只差1.42 ，而 TurboQuant 为56.88。到 Qwen3-32B 和 GLM-4.7-FP8 ，OSCAR 根基与 BF16 吃旖�；痪浠八� ，在靠近 2-bit 的 KV 预算下 ，OSCAR 是表中唯一能在多模型、多工作上不变切近 BF16 的 INT2 步骤。
图 4 单独看 AIME25 这个高难数学推理工作 ，并对比 KIVI-KV2、Kitty 和 OSCAR。但由于 KIVI, KITTY 没有 framework 支持 ，无法进行 long context run ，所以拔取了他们步骤唯一在 32K 汇报的了局 - AIME25。在 Qwen3-8B 上 ，OSCAR 以2.38 BPE达到66.67 ，根基追平 BF16 的66.00 ，显著高于 KIVI-KV2 和 Kitty；在 Qwen3-32B 上 ，OSCAR 达到74.00 ，甚至略高于 BF16 的72.59 ，也超过 Kitty 的69.26。这注明 OSCAR 不只是相对 TurboQuant 有优势 ，在已有 KV-cache 量化步骤中 ，也能在靠近 2-bit 的预算下保住难题数学推理能力。
图 5 展示 100k 高低文下的系统机能。OSCAR 在 batch-size-1、full prefix-cache hit 的纯 decode 场景下最高约3×加快；在固定显存预算下 ，batch size 增大时 ，INT2 history 带来的 KV footprint 降低能够显著提高 job-level throughput ，最高约7×。这注明 OSCAR 不只是精度能保住 ，也能实打实降低显存带宽压力。
图 6 展示 prefix-cache hit ratio 对端到端 serving throughput 的影响。横轴是单用户吞吐 ，纵轴是单 GPU 吞吐；从 cache disabled 到 normal cache ，再到靠近 100% warmup replay ，吞吐前沿逐步表扩。OSCAR 维持尺度 paged KV /prefix cache 抽象 ，因而共享系统提醒、多轮 Agent、工具挪用循环等长前缀复用场景能够直接受益。
这些了局的一个沉要寓意是 ，OSCAR 并没有依赖「遴选少数层保留高精度」来保住分数。好多低比特步骤在真正部署时会借助混合精度：第一层、最后一层或若干敏感层依然保留较高 bit ，这会让均匀 bit 数上升 ，也会让 kernel 和 cache layout 变复杂。OSCAR 的对比更严格：汗青 KV 主体维持统一的 INT2 暗示 ，只在 sink 和 recent 两个很幼窗口保留 BF16。这样做的益处是 ，系统工程上更容易接入 paged cache、prefix cache 和批量调度 ，也更靠近真实服务场景中的显存预算。
另一个值得强调的点是 ，OSCAR 的收益不是只在幼模型或短高低文上成立。论文同时测试了 4B、8B、32B 以及 GLM-4.7-FP8 这样的大模型；既看了数学、代码、知识问答等 32K 推理天生工作 ，也看了 128K RULER-NIAH 长高低文检索。短评测里 ，OSCAR 能靠近 BF16；长高低文里 ，它也能让 attention 散布随高低文增长更不变。这注明 attention-aware rotation 不是只在某个 benchmark 上调参有效 ，而是在缓解 KV 误差随汗青长度累积这个底子问题。
从利用角度看 ，这对长高低文 Agent 出格关键。真实 Agent 往往蕴含很长的系统提醒、工具注明、汗青对话和检索内容 ，并且分歧要求之间存在大量共享前缀。若是 KV Cache 只能用 BF16 存 ，系统很快会被显存卡��；若是直接做朴素 INT2 ，又可能让推理链条失真。OSCAR 的设计刚好夹在两者之间：长汗青用 INT2 降显存和带宽 ，关键 sink/recent 用 BF16 兜住不变性 ，再让 prefix cache 复用共享前缀�；痪浠八� ，它把「能压到 2-bit」和「能上线 serving」 放在统一个系统里思考。
TurboQuant 是很强的通用 online vector quantization 步骤；OSCAR 针对的是 attention-aware 2-bit KV serving。二者不是单一代替关系 ，例如OSCAR 的 最新codebase中已经在attention-aware rotation 引入了更强的 Lloyd Max Codebook ，将压缩推向极致。OSCAR 带来了一个怪异的概想：2-bit KV Cache 要能上线 ，旋转不只是「有没佑坠 ，而是必须对准 attention ，并且要有真实 serving 系统支持。
我不是戏神IT之家简要补充下这段视频的背景：微软推出了 Project Solara，这是一个全新的芯片到云平台，它将芯片、软件和云结合在一起，为用户提供更个性化、更智能、更贴近用户的 AI 体验。Dayjob的故事最能说明这种思路的转变，创始人花了18个月给垃圾处理公司做软件，结果发现客户真正要的根本不是软件，每天早上，运输调度员花几个小时手动排路线，排完后路况一变全白干。我不是戏神佳人的自我刷新(完)BY完TXT百度网盘以下为推理，供读者参考：如果出生人口的下滑趋势延续，十几年后能填满高校的适龄人口将明显少于今天，这意味着部分高校尤其是缺乏特色的院校，未来面临招生压力的概率在上升。这是基于公开人口数据的逻辑推演，不代表必然结果，具体走势取决于届时的人口、政策与升学结构等多重变量。据悉，受测原型机目前使用类似于手机充电宝的标准便携式电池组，最长可运行约 8 小时。研究人员正致力于延长电池寿命，使系统更小巧、集成度更高，目标是实现舒适的长期穿戴。
20260606 ?? 我不是戏神移动支付加速渗透。目前，新加坡、泰国等8个东南亚国家已实现跨境二维码支付互认，交易“最后一公里”加快打通。蚂蚁国际依托在东南亚构建的“Alipay+互通网络”，通过对接泰国PromptPay、马来西亚DuitNow等国家级支付系统，实现跨境交易在本地结算，大幅提升效率。同时，支付场景还向社交化、游戏化方向延伸，如新加坡ShopeePay通过积分激励等方式增强用户黏性，让“便捷支付”升级为“兴趣消费”。1V1异国一见钟情的幼说上述团体在信中指出，AI数据中心的扩张占用了过多内存芯片产能，导致芯片价格"史无前例地飙升"，并压缩了制造业和消费品行业的可用供应。
20260606 ?? 我不是戏神骑手巡查补齐了基层监管人手不足的短板，而数字化、AI技术则进一步提升监管精准度。下一步，石景山区将结合智慧监管平台与“互联网+明厨亮灶”工程，探索开发AI辅助识别功能，自动抓拍违规行为，让监管从“被动接收举报”升级为“主动智能预警”。《绝对爱情号令》动漫FIFA合作伙伴共有7家，联想是其中之一。一个世界杯周期，联想的赞助费大约是1.5亿美元。值得一提的是，过去2个世界杯周期的顶级赞助商万达，已经不再是FIFA合作伙伴。
京公网安备11010202000001号
