随着 Agent 的宽泛利用带来的长序列需要 ，传统 GPT 架构的 Attention 部门 ，由于其 O (N^2) 的推算复杂度 ，正逐步被视为机能瓶颈而遭到代替 。而 Attention 机造的架构迭代 ，也在以前所未有的速度推动 。目前业界的主流规划大体能够分为两种：Linear Attention 和 Sparse Attention 。其中 Linear Attention 以 Qwen-Next 和 Kimi-K2 为代表 ，性质上是通过改进后的 Linear Attention 来实现信息压缩 ，使得存储价值压缩到 O(1) ，推算价值压缩到 O(N) ；而 Sparse Attention 则重要通过稀少化来优化推算开销 ，实际中往往可能达到靠近 90% 以上的稀少度 ，这也是在 DeepSeek-V4 中被正式选取的技术路线 。
然而 ，在 RTPurbo 中 [1] ，前期工作已经充分指出 ，使用 Full Attention+Sliding Window Attention（SWA）就已经能够在精度无损的保障下 ，将原生 Transformer 的 85% 把稳力头造成 SWA ，实现 15% Full Attention + 85% SWA 的混合架构 ，实现 5X 的 KV 和 Attention 压缩 。独一无二 ，在近期的一些开源架构 ，如 MIMO、Gemma4、GPT-OSS 中 ，也使用了 SWA+Full Attention 这一设计 ，颇有一种 “大路至简” 的设计思路 。
只管代替了 85% 的 Full Attention 成 SWA ，剩下的 15% Full Attention 在超长序列（1M）下依然会成为机能瓶颈 。今天 ，为了彻底解决 Attention 的推理瓶颈 ，来自阿里的 RTP 团队推出了第二代 Attention 压缩技术：RTPurboV2 。通过结合 Headwise 压缩 ，低秩投影压缩 ，以及聚类技术 ，RTPurboV2 能够在 V1 架构的基础上 ，进一步在 Full Attention 部门实现 16~32 倍推算压缩 。
Full Attention 模型在预训练过程中 ，已经自觉地形成炼度稀少确把稳力结构 。我们要做的不是 "强加" 稀少性 ，而是 "开释" 它 。这个判断成立在四个可量化的关键发现之上 。
钻研人员发现 ，在 Full Attention 模型中 ，分歧的 Attention Head 现实上承担着分歧的职责 。有些 Head 专一于捉拿部门信息（好比相邻 token 之间的关系） ，有些 Head 则掌管捉拿长距离依赖（好比与自身有关信息的关联） 。
约 15% 的 Head 阐发出显著的 "召回头"（retrieval head）特点：它们确把稳力散布极度稀少 ，只关注少数几个关键 token ，掌管长距离信息召回其余 85% 的 Head 则是 "流式头"（streaming head）：它们确把稳力散布相对均匀 ，更多关注部门高低文
这种分工模式在分歧输入、分歧序列长度下高度不变 ，是模型在预训练中自觉习得的内涵结构 。直接推论：85% 的 Full Attention 推算能够安全地代替为 SWA（参考 RTPurbo） ，险些不影响模型能力 。真正必要解决的 ，只有渣滓 15% 召回头的高效推算问题
召回头的主题工作是在整个序列中做语义匹配 —— 看起来依然是 O (N^2) 的问题 。RTPurboV2 的主题技术升级之一是对于召回头和 RoPE 的详细理解 。在深刻分析 RoPE 地位编码的频率结构后 ，团队发现了召回头的 RoPE 分量存在显著的维度冗余 。在 RoPE 下 ，Query-Key 确把稳力得分能够分化为分歧频率分量的叠加：
低频分量（θ_i 较� 。核娴匚黄苹郝涠� ，承载 token 间的语义有关性信号高频分量（θ_i 较大）：随地位偏移急剧振荡 ，引入距离敏感性滋扰
对于长距离检索而言 ，高频分量导致把稳力得分随地位距离剧烈颠簸 ，减弱了语义信号的不变传递 。而从召回工作自身的性质启程：一个 token 的召回强度不应随相对地位的变动而急剧颠簸 。由此能够揣度 ，在召回头上的高频分量肯定是出于被压造状态 ，召回头性质上只会利用 RoPE 低频分量 。
因而 ，一个很天然的设计是训练一个低维 projector ，我们通过低峙壮射将原始特点维度从 D 压缩至 r=16 (其中 r ? D) ，系统性地保留低频语义分量、过滤高频地位噪声 。尝试验证 ，仅 16 维即可达到 90%+ 的 token 召回率 。
这是 RTPurboV2 的主题技术升级之二 。团队意识到低秩投影带来的增益不止于推算量的直接降低 —— 它从底子上改善了 Key 向量在语义空间中的散布质量 。高频噪声被过滤后 ，语义类似的 token 在低秩空间中天然聚拢 ，语义无关的 token 彼此远离 。这为序列维度的进一步压缩创造了梦想前提 。
特点维度压缩→ 降低单步推算开销 ，同时产出高质量聚类输入序列维度压缩（聚类）→ 跳过大量语义无关 token ，降低总推算步数协同效应 → 特点压缩提纯后的向量让聚类中心更精准 ，使得在极端压缩比下依然维持高召回率
传统的稀少把稳力步骤通常选取固定 top-k 战术 ，即每个 query 只保留 attention score 最高的 k 个 token 。但这种做法存在一个底子性问题：分歧的 attention head、分歧的序列长度、分歧的 query ，所需的高低文 token 数量差距巨大 。
在数十万亿 token 的预训练语境下 ，1M token 险些能够忽略 。这也从另一个角度验证了主题论点：Full Attention 的稀少性是内生的 ，微调只是实现从隐式到显式的转化 。
在 Qwen3-Coder-30B-A3B 模型上 ，我们通过离线校准鉴别出约 15% 的关键 “召回头” 。针对这些 Head ，我们在 Prefill 阶段选取 Full Attention 并共同 K Cache 聚类 ，在 Decode 阶段则利用 RTPurboV2 实现稀少化 ；其余流式头统一选取 SWA（部门窗口设为 8192） 。
如图 3 所示 ，RTPurboV2 在 32K 和 64K 序列长度下均获得了最优均匀分（别离为 89.69 和 85.61） ，显著优于除 Full Attention 表的所有基线步骤 ，证了然其在长程信息召回上的卓越精度 。
针对 Qwen3.5-35B-A3B 模型 ，校准显示其超过 70% 的 Head 拥有召回个性 。为此 ，我们采取了全量稀少化战术 。尝试了局（图 4）批注 ，RTPurboV2 在大幅降低推算开销的同时 ，齐全保留了模型的基础能力 ，精度阐发与 Full Attention 吃旖 。
在链式思想（CoT）推理工作中 ，RTPurboV2 同样阐发杰出（图 5） ，实现了模型推理能力的近乎无损保留 ，进一步验证了该规划在复杂逻辑场景下的鲁棒性 。
当前把稳力机造的钻研沉心 ，大量集中在设计全新的高效架构上 。这条蹊径无疑有其价值 。但 RTPurboV2 揭示了一个容易被忽视的事实：Full Attention 模型自身就蕴含着巨大的效能空间 ，而开释这种内生稀少性的成本极低 。
600 步训练 ，精度险些无损 ，Prefill 最高 9.36 倍加快 。这意味着 ，对于选择 SWA + Full Attention 混合架构的团队 —— 蕴含 MIMO、Gemma 4、GPT-OSS——不必要代替架构就能获得靠近 SOTA 新规划的压缩效能
RTP-LLM 是阿里巴巴智能引擎团队自研的高机能大模型推理引擎 ，支持了淘宝、天猫、高德等主题业务的大模型推理需要 。智能引擎源自阿里巴巴搜索、推荐和告白技术 ，是阿里 AI 工程领域的先行者和深耕者 。团队专一于 AI 工程系统的建设 ，主导成立了大数据 AI 工程系统 AI?OS ，持续为阿里集团各业务提供高质量的 AI 工程服务 。
《莲花梦迟[NP](一蓑烟雨著)》德天空称，德国队将补招莱比锡中场韦德拉奥果作为卡尔的替代者。韦德拉奥果将结束在西班牙的假期前往芝加哥，纳格尔斯曼已告知他这一决定，莱比锡俱乐部方面也已知悉。克而瑞好房点评网楼盘测评是深度融合克而瑞在房地产领域长达二十年的专业积淀与市场洞察，基于深度智联“专业力”与“工程力”构建起的评价体系。《莲花梦迟[NP](一蓑烟雨著)》《日剧〖样的爱子》》对舞蹈的热爱，也让他对学习舞蹈后来者有话要说：“坚持你所热爱的，相信自己，一步一个脚印。希望他们能从中找到乐趣，快乐是最好的导师。”由于上周参加了欧冠决赛，特罗萨德直到周四才与比利时国家队会合。他在周五的新闻发布会上表示：“我真的已经迫不及待想开始了。大家都带着很高的热情开启这次世界杯征程，这是非常积极的信号。到目前为止，我只参加了一堂训练课，所以还看不出太多特别明显的东西，但我能感觉到所有人都很专注，也都已经准备好迎接世界杯了。”
20260608 ? 《莲花梦迟[NP](一蓑烟雨著)》伊劳拉：“我曾经站在另一边，我仍然记得小基耶萨在赛季第一场比赛最后时刻打进的那个进球！当时我们2-2战平，觉得或许可以带走点什么。他进球了，整座球场瞬间沸腾。很疯狂，对吧？现在我想从另一边去感受这一切。刚到任何一家俱乐部时，我认为你都需要在某种程度上证明自己。你需要赢得归属感。我想尽快做到这一点，这样我也能和他们一起庆祝，真正成为那些庆祝的一部分。”闺蜜老爸(终局1V1)笔趣阁政治上新西兰为英联邦成员国、议会制君主立宪制，国家元首为英国国王（由总督代行职权）且仅保留象征权力，实行一院制议会，民主制度成熟，社会稳定。1907年，新西兰成为英国自治领。1947年，新西兰接受英国威斯敏斯特法令，实行全面自治。
20260608 ? 《莲花梦迟[NP](一蓑烟雨著)》2026年1月14日，招标方发布公告称，“因本项目收到相关投诉，暂停本项目的招投标活动”，并表示投标有限期相应延长90天。然而，两个月后，项目招标进行的最终合同公示中，中标方仍为二次公示的中标者湖南省第四工程有限公司联合体。回复术士的沉来人生全集免费旁观齐全版招商·臻园地处丰台科技园总部基地板块，是央企招商蛇口打造的改善型小高层住宅代表作。在项目价值测评中，其综合得分位居同类竞品前列，尤其在市场口碑与项目价值两大维度表现卓越。
》](http://bjnewsrec-cv.ws.126.net/little810UNrVXua.jpg "862406.JPG")
》](http://dingyue.ws.126.net/2026/0605/81156761j00tg506h00zzd000v900nfp.jpg "324033.JPG")
》](http://videoimg.ws.126.net/cover/20260607/XLHqxn4Iy_cover.jpg "770172.JPG")
京公网安备11010202000001号
