随着 Agent 的宽泛利用带来的长序列需要，传统 GPT 架构的 Attention 部门，由于其 O (N^2) 的推算复杂度，正逐步被视为机能瓶颈而遭到代替。而 Attention 机造的架构迭代，也在以前所未有的速度推动。目前业界的主流规划大体能够分为两种：Linear Attention 和 Sparse Attention。其中 Linear Attention 以 Qwen-Next 和 Kimi-K2 为代表，性质上是通过改进后的 Linear Attention 来实现信息压缩，使得存储价值压缩到 O(1) ，推算价值压缩到 O(N)；而 Sparse Attention 则重要通过稀少化来优化推算开销，实际中往往可能达到靠近 90% 以上的稀少度，这也是在 DeepSeek-V4 中被正式选取的技术路线。
然而，在 RTPurbo 中 [1]，前期工作已经充分指出，使用 Full Attention+Sliding Window Attention（SWA）就已经能够在精度无损的保障下，将原生 Transformer 的 85% 把稳力头造成 SWA，实现 15% Full Attention + 85% SWA 的混合架构，实现 5X 的 KV 和 Attention 压缩。独一无二，在近期的一些开源架构，如 MIMO、Gemma4、GPT-OSS 中，也使用了 SWA+Full Attention 这一设计，颇有一种 “大路至简” 的设计思路。
只管代替了 85% 的 Full Attention 成 SWA，剩下的 15% Full Attention 在超长序列（1M）下依然会成为机能瓶颈。今天，为了彻底解决 Attention 的推理瓶颈，来自阿里的 RTP 团队推出了第二代 Attention 压缩技术：RTPurboV2。通过结合 Headwise 压缩，低秩投影压缩，以及聚类技术，RTPurboV2 能够在 V1 架构的基础上，进一步在 Full Attention 部门实现 16~32 倍推算压缩。
Full Attention 模型在预训练过程中，已经自觉地形成炼度稀少确把稳力结构。我们要做的不是 "强加" 稀少性，而是 "开释" 它。这个判断成立在四个可量化的关键发现之上。
钻研人员发现，在 Full Attention 模型中，分歧的 Attention Head 现实上承担着分歧的职责。有些 Head 专一于捉拿部门信息（好比相邻 token 之间的关系），有些 Head 则掌管捉拿长距离依赖（好比与自身有关信息的关联）。
约 15% 的 Head 阐发出显著的 "召回头"（retrieval head）特点：它们确把稳力散布极度稀少，只关注少数几个关键 token，掌管长距离信息召回其余 85% 的 Head 则是 "流式头"（streaming head）：它们确把稳力散布相对均匀，更多关注部门高低文
这种分工模式在分歧输入、分歧序列长度下高度不变，是模型在预训练中自觉习得的内涵结构。直接推论：85% 的 Full Attention 推算能够安全地代替为 SWA（参考 RTPurbo），险些不影响模型能力。真正必要解决的，只有渣滓 15% 召回头的高效推算问题
召回头的主题工作是在整个序列中做语义匹配 —— 看起来依然是 O (N^2) 的问题。RTPurboV2 的主题技术升级之一是对于召回头和 RoPE 的详细理解。在深刻分析 RoPE 地位编码的频率结构后，团队发现了召回头的 RoPE 分量存在显著的维度冗余。在 RoPE 下，Query-Key 确把稳力得分能够分化为分歧频率分量的叠加：
低频分量（θ_i 较�。核娴匚黄苹郝涠�，承载 token 间的语义有关性信号高频分量（θ_i 较大）：随地位偏移急剧振荡，引入距离敏感性滋扰
对于长距离检索而言，高频分量导致把稳力得分随地位距离剧烈颠簸，减弱了语义信号的不变传递。而从召回工作自身的性质启程：一个 token 的召回强度不应随相对地位的变动而急剧颠簸。由此能够揣度，在召回头上的高频分量肯定是出于被压造状态，召回头性质上只会利用 RoPE 低频分量。
因而，一个很天然的设计是训练一个低维 projector，我们通过低峙壮射将原始特点维度从 D 压缩至 r=16 (其中 r ? D)，系统性地保留低频语义分量、过滤高频地位噪声。尝试验证，仅 16 维即可达到 90%+ 的 token 召回率。
这是 RTPurboV2 的主题技术升级之二。团队意识到低秩投影带来的增益不止于推算量的直接降低 —— 它从底子上改善了 Key 向量在语义空间中的散布质量。高频噪声被过滤后，语义类似的 token 在低秩空间中天然聚拢，语义无关的 token 彼此远离。这为序列维度的进一步压缩创造了梦想前提。
特点维度压缩→ 降低单步推算开销，同时产出高质量聚类输入序列维度压缩（聚类）→ 跳过大量语义无关 token，降低总推算步数协同效应 → 特点压缩提纯后的向量让聚类中心更精准，使得在极端压缩比下依然维持高召回率
传统的稀少把稳力步骤通常选取固定 top-k 战术，即每个 query 只保留 attention score 最高的 k 个 token。但这种做法存在一个底子性问题：分歧的 attention head、分歧的序列长度、分歧的 query，所需的高低文 token 数量差距巨大。
在数十万亿 token 的预训练语境下，1M token 险些能够忽略。这也从另一个角度验证了主题论点：Full Attention 的稀少性是内生的，微调只是实现从隐式到显式的转化。
在 Qwen3-Coder-30B-A3B 模型上，我们通过离线校准鉴别出约 15% 的关键 “召回头”。针对这些 Head，我们在 Prefill 阶段选取 Full Attention 并共同 K Cache 聚类，在 Decode 阶段则利用 RTPurboV2 实现稀少化；其余流式头统一选取 SWA（部门窗口设为 8192）。
如图 3 所示，RTPurboV2 在 32K 和 64K 序列长度下均获得了最优均匀分（别离为 89.69 和 85.61），显著优于除 Full Attention 表的所有基线步骤，证了然其在长程信息召回上的卓越精度。
针对 Qwen3.5-35B-A3B 模型，校准显示其超过 70% 的 Head 拥有召回个性。为此，我们采取了全量稀少化战术。尝试了局（图 4）批注，RTPurboV2 在大幅降低推算开销的同时，齐全保留了模型的基础能力，精度阐发与 Full Attention 吃旖。
在链式思想（CoT）推理工作中，RTPurboV2 同样阐发杰出（图 5），实现了模型推理能力的近乎无损保留，进一步验证了该规划在复杂逻辑场景下的鲁棒性。
当前把稳力机造的钻研沉心，大量集中在设计全新的高效架构上。这条蹊径无疑有其价值。但 RTPurboV2 揭示了一个容易被忽视的事实：Full Attention 模型自身就蕴含着巨大的效能空间，而开释这种内生稀少性的成本极低。
600 步训练，精度险些无损，Prefill 最高 9.36 倍加快。这意味着，对于选择 SWA + Full Attention 混合架构的团队 —— 蕴含 MIMO、Gemma 4、GPT-OSS——不必要代替架构就能获得靠近 SOTA 新规划的压缩效能
RTP-LLM 是阿里巴巴智能引擎团队自研的高机能大模型推理引擎，支持了淘宝、天猫、高德等主题业务的大模型推理需要。智能引擎源自阿里巴巴搜索、推荐和告白技术，是阿里 AI 工程领域的先行者和深耕者。团队专一于 AI 工程系统的建设，主导成立了大数据 AI 工程系统 AI?OS，持续为阿里集团各业务提供高质量的 AI 工程服务。
乖宝宝坐下来在网上，不少网友看到新闻后也表示自己的魅族手机也曾这样失而复得。河北网友ccloveweion就表示，他爸的魅族手机丢失也找回来了，登录账号之后，只要丢失的手机开机，会自动发来几张照片，能看到使用者的正脸，就连新换的手机号都能看到。安徽网友gyj001则说，想起来他的魅族手机了，2019年手机丢了之后，他远程锁机，之后传回照片和位置，他打印了照片顺着定位就找过去了。曼联青训中场泰勒-弗莱彻在接受苏格兰足协采访时，回顾了自己临时入选苏格兰世界杯名单后的这一周。由于吉尔摩在此前对阵库拉索的热身赛中受伤，弗莱彻在最后时刻得到征召。他表示，这一切发生得太快，自己至今还没完全缓过神来。乖宝宝坐下来《最棒的男高中生》BY于刀鞘作为西方文明中的一个极端符号，她是美貌、欲望、背叛、战争的代名词。她的选角，本身就意味着谁更有资格代表“倾国倾城”，谁更能够让观众信服拥有那张足以引发战争的脸？赛后，马刺后卫卡斯尔接受了媒体采访，在被问到西决防守亚历山大和总决赛防守布伦森有何不同感受时，卡斯尔说道：“我觉得他俩在一些地方是非常像的。”
20260608 ? 乖宝宝坐下来同样，昨天我们也发布了一份简短但内容明确的声明，用西班牙语和英语同时发布，就是为了避免任何误解。我们已经明确表示，从劳尔加入团队开始，我们的主教练目标就一直是克洛普。从下周一开始，我们会全力争取说服他。我认为，而且几乎可以肯定，我们能够做到。克洛普会成为皇家马德里下赛季的主教练。当然，这会是体育团队的工作。就像我在球员问题上表达得非常明确一样，在主教练问题上，我不能做出同样程度的保证，但我可以承诺，我们会尽一切努力。《过度偏心BY今烛》不会。说实话，在决定退出国家队后，最开始几次国家队比赛时，我确实有一种奇怪的感觉。虽然决定是自己做的，但看到名单里没有自己，还是会有些不同。不过这种感觉只持续了一两次征召，后来就过去了。现在我很平静，也知道自己做出了怎样的决定。直到今天，我依然坚持那个决定。
20260608 ? 乖宝宝坐下来里泽塔还透露：“德劳伦蒂斯告诉我：‘马特，我对全球1亿那不勒斯人负有责任，其中大多数是那不勒斯的支持者和球迷。如果这家俱乐部有朝一日被出售，必须卖给合适的人。’因此，对我而言，我感到一种巨大的、深刻的责任感，要证明我有动力将这家俱乐部带入未来，并且能够做所有尊重他所建立的传统和遗产的事情。我或许还可以增加一个创新水平和国际吸引力，出于某种原因，他可能没有专注于此。而且，归根结底，更多的收入意味着对俱乐部更多的投资。对俱乐部更多的投资意味着更具竞争力的产品。因此，我们不是在谈论资本分配，也不是在谈论股息。我们谈论的是扩大收入基础，这将使我们能够投资于俱乐部，从而使俱乐部更具竞争力，并回馈社区，这才是关键所在。”《大人的防具店第一季动漫》至于这件事到底谁对谁错，其实也没什么绝对的标准答案。站在窦靖童的角度，她想要更好的舞台效果，找专业的人做专业的事，出发点没什么问题。站在观众的角度，你请了助演我就等着看合唱，结果等来了纯伴奏，期待落空不高兴也很正常。说白了就是两边的立场不一样，没必要吵得你死我活，非要分出个对错。
京公网安备11010202000001号
