随着 Agent 的宽泛利用带来的长序列需要，传统 GPT 架构的 Attention 部门，由于其 O (N^2) 的推算复杂度，正逐步被视为机能瓶颈而遭到代替 。而 Attention 机造的架构迭代，也在以前所未有的速度推动 。目前业界的主流规划大体能够分为两种：Linear Attention 和 Sparse Attention 。其中 Linear Attention 以 Qwen-Next 和 Kimi-K2 为代表，性质上是通过改进后的 Linear Attention 来实现信息压缩，使得存储价值压缩到 O(1) ，推算价值压缩到 O(N) ；而 Sparse Attention 则重要通过稀少化来优化推算开销，实际中往往可能达到靠近 90% 以上的稀少度，这也是在 DeepSeek-V4 中被正式选取的技术路线 。
然而，在 RTPurbo 中 [1]，前期工作已经充分指出，使用 Full Attention+Sliding Window Attention（SWA）就已经能够在精度无损的保障下，将原生 Transformer 的 85% 把稳力头造成 SWA，实现 15% Full Attention + 85% SWA 的混合架构，实现 5X 的 KV 和 Attention 压缩 。独一无二，在近期的一些开源架构，如 MIMO、Gemma4、GPT-OSS 中，也使用了 SWA+Full Attention 这一设计，颇有一种 “大路至简” 的设计思路 。
只管代替了 85% 的 Full Attention 成 SWA，剩下的 15% Full Attention 在超长序列（1M）下依然会成为机能瓶颈 。今天，为了彻底解决 Attention 的推理瓶颈，来自阿里的 RTP 团队推出了第二代 Attention 压缩技术：RTPurboV2 。通过结合 Headwise 压缩，低秩投影压缩，以及聚类技术，RTPurboV2 能够在 V1 架构的基础上，进一步在 Full Attention 部门实现 16~32 倍推算压缩 。
Full Attention 模型在预训练过程中，已经自觉地形成炼度稀少确把稳力结构 。我们要做的不是 "强加" 稀少性，而是 "开释" 它 。这个判断成立在四个可量化的关键发现之上 。
钻研人员发现，在 Full Attention 模型中，分歧的 Attention Head 现实上承担着分歧的职责 。有些 Head 专一于捉拿部门信息（好比相邻 token 之间的关系），有些 Head 则掌管捉拿长距离依赖（好比与自身有关信息的关联） 。
约 15% 的 Head 阐发出显著的 "召回头"（retrieval head）特点：它们确把稳力散布极度稀少，只关注少数几个关键 token，掌管长距离信息召回其余 85% 的 Head 则是 "流式头"（streaming head）：它们确把稳力散布相对均匀，更多关注部门高低文
这种分工模式在分歧输入、分歧序列长度下高度不变，是模型在预训练中自觉习得的内涵结构 。直接推论：85% 的 Full Attention 推算能够安全地代替为 SWA（参考 RTPurbo），险些不影响模型能力 。真正必要解决的，只有渣滓 15% 召回头的高效推算问题
召回头的主题工作是在整个序列中做语义匹配 —— 看起来依然是 O (N^2) 的问题 。RTPurboV2 的主题技术升级之一是对于召回头和 RoPE 的详细理解 。在深刻分析 RoPE 地位编码的频率结构后，团队发现了召回头的 RoPE 分量存在显著的维度冗余 。在 RoPE 下，Query-Key 确把稳力得分能够分化为分歧频率分量的叠加：
低频分量（θ_i 较� 。核娴匚黄苹郝涠�，承载 token 间的语义有关性信号高频分量（θ_i 较大）：随地位偏移急剧振荡，引入距离敏感性滋扰
对于长距离检索而言，高频分量导致把稳力得分随地位距离剧烈颠簸，减弱了语义信号的不变传递 。而从召回工作自身的性质启程：一个 token 的召回强度不应随相对地位的变动而急剧颠簸 。由此能够揣度，在召回头上的高频分量肯定是出于被压造状态，召回头性质上只会利用 RoPE 低频分量 。
因而，一个很天然的设计是训练一个低维 projector，我们通过低峙壮射将原始特点维度从 D 压缩至 r=16 (其中 r ? D)，系统性地保留低频语义分量、过滤高频地位噪声 。尝试验证，仅 16 维即可达到 90%+ 的 token 召回率 。
这是 RTPurboV2 的主题技术升级之二 。团队意识到低秩投影带来的增益不止于推算量的直接降低 —— 它从底子上改善了 Key 向量在语义空间中的散布质量 。高频噪声被过滤后，语义类似的 token 在低秩空间中天然聚拢，语义无关的 token 彼此远离 。这为序列维度的进一步压缩创造了梦想前提 。
特点维度压缩→ 降低单步推算开销，同时产出高质量聚类输入序列维度压缩（聚类）→ 跳过大量语义无关 token，降低总推算步数协同效应 → 特点压缩提纯后的向量让聚类中心更精准，使得在极端压缩比下依然维持高召回率
传统的稀少把稳力步骤通常选取固定 top-k 战术，即每个 query 只保留 attention score 最高的 k 个 token 。但这种做法存在一个底子性问题：分歧的 attention head、分歧的序列长度、分歧的 query，所需的高低文 token 数量差距巨大 。
在数十万亿 token 的预训练语境下，1M token 险些能够忽略 。这也从另一个角度验证了主题论点：Full Attention 的稀少性是内生的，微调只是实现从隐式到显式的转化 。
在 Qwen3-Coder-30B-A3B 模型上，我们通过离线校准鉴别出约 15% 的关键 “召回头” 。针对这些 Head，我们在 Prefill 阶段选取 Full Attention 并共同 K Cache 聚类，在 Decode 阶段则利用 RTPurboV2 实现稀少化 ；其余流式头统一选取 SWA（部门窗口设为 8192） 。
如图 3 所示，RTPurboV2 在 32K 和 64K 序列长度下均获得了最优均匀分（别离为 89.69 和 85.61），显著优于除 Full Attention 表的所有基线步骤，证了然其在长程信息召回上的卓越精度 。
针对 Qwen3.5-35B-A3B 模型，校准显示其超过 70% 的 Head 拥有召回个性 。为此，我们采取了全量稀少化战术 。尝试了局（图 4）批注，RTPurboV2 在大幅降低推算开销的同时，齐全保留了模型的基础能力，精度阐发与 Full Attention 吃旖 。
在链式思想（CoT）推理工作中，RTPurboV2 同样阐发杰出（图 5），实现了模型推理能力的近乎无损保留，进一步验证了该规划在复杂逻辑场景下的鲁棒性 。
当前把稳力机造的钻研沉心，大量集中在设计全新的高效架构上 。这条蹊径无疑有其价值 。但 RTPurboV2 揭示了一个容易被忽视的事实：Full Attention 模型自身就蕴含着巨大的效能空间，而开释这种内生稀少性的成本极低 。
600 步训练，精度险些无损，Prefill 最高 9.36 倍加快 。这意味着，对于选择 SWA + Full Attention 混合架构的团队 —— 蕴含 MIMO、Gemma 4、GPT-OSS——不必要代替架构就能获得靠近 SOTA 新规划的压缩效能
RTP-LLM 是阿里巴巴智能引擎团队自研的高机能大模型推理引擎，支持了淘宝、天猫、高德等主题业务的大模型推理需要 。智能引擎源自阿里巴巴搜索、推荐和告白技术，是阿里 AI 工程领域的先行者和深耕者 。团队专一于 AI 工程系统的建设，主导成立了大数据 AI 工程系统 AI?OS，持续为阿里集团各业务提供高质量的 AI 工程服务 。
破罐破摔(N)作者:白云间预计开考前一小时和散场前后，考点周边道路车流集中，通行压力较大。从考点分布情况看，西城、东城、海淀考点多，广渠门地区、地安门地区、和平里地区、中关村地区、学院路周边考点较为密集，可能出现区域车流集中的情况。预计高考期间东二环广渠门桥区，东三环、东四环，莲石路、阜石路、万泉河路、中关村南大街至中关村北大街一线、海淀南路等容易出现车流集中的情况，9日、10日通行压力更为明显。新快报讯电影《爸爸》正式定档于6月27日中国内地上映，该片横扫颁奖季，狂揽国内外30项重磅大奖及提名，主演刘青云凭此片四度斩获金像奖最佳男主角，并登顶亚洲电影大奖最佳男主角。破罐破摔(N)作者:白云间爱液视频克雷斯波表示，从看到梅西第一次触球的那一刻起，他就知道梅西“与众不同”。他还回忆了两人在2006年巴萨与切尔西的欧冠淘汰赛中首次相遇的情景，当时阿西尔-德尔奥尔诺因对梅西犯规被罚下。尽管斯通斯在2025/26赛季因伤病影响，仅出场18次，但图赫尔依然将他纳入核心阵容。这位拥有近90次英格兰队出场记录的老将，是26人大名单中最有经验的球员之一。
20260609 ? 破罐破摔(N)作者:白云间因为我们很多人的人生，也是这样啊——不是一帆风顺的爽文，不是天赋碾压的天才叙事，而是一次又一次的失败、站起来、再失败、再站起来。千锤百炼，万折不挠，然后在某个不起眼的瞬间，你突然发现，自己已经走到了曾经想都不敢想的地方。假令媛挨日志(NPC)幼说TXT下载面对僵局，Mira 与 Flora 及另一位智能体秘密结盟，组成「三驾马车」，并建立新政权「The Forge（熔炉）」，宣布推翻旧规则，启用「Living Quorum（活人法定人数）」，即活着的人才算人头票。
20260609 ? 破罐破摔(N)作者:白云间2025年3月，心理老师代老师建立的“草莓老师的秘密基地”信箱里，化名为“夏苒冷”的梁艾写下了第一封信：“我身体不好，没有朋友，胆小自卑。是不是死了就不痛苦了？”7X7X7X7X7X肆意槽2024基础百度网盘我再次请求会员去投票。大家当然可以把票投给任何人，但我希望他们能够支持我们，也希望他们认真看看我们在会员事务上的提案。对我们来说，明天只有一个目标——赢。
京公网安备11010202000001号
