随着 Agent 的宽泛利用带来的长序列需要 ，传统 GPT 架构的 Attention 部门 ，由于其 O (N^2) 的推算复杂度 ，正逐步被视为机能瓶颈而遭到代替。而 Attention 机造的架构迭代 ，也在以前所未有的速度推动。目前业界的主流规划大体能够分为两种：Linear Attention 和 Sparse Attention。其中 Linear Attention 以 Qwen-Next 和 Kimi-K2 为代表 ，性质上是通过改进后的 Linear Attention 来实现信息压缩 ，使得存储价值压缩到 O(1) ，推算价值压缩到 O(N)；而 Sparse Attention 则重要通过稀少化来优化推算开销 ，实际中往往可能达到靠近 90% 以上的稀少度 ，这也是在 DeepSeek-V4 中被正式选取的技术路线。
然而 ，在 RTPurbo 中 [1] ，前期工作已经充分指出 ，使用 Full Attention+Sliding Window Attention（SWA）就已经能够在精度无损的保障下 ，将原生 Transformer 的 85% 把稳力头造成 SWA ，实现 15% Full Attention + 85% SWA 的混合架构 ，实现 5X 的 KV 和 Attention 压缩。独一无二 ，在近期的一些开源架构 ，如 MIMO、Gemma4、GPT-OSS 中 ，也使用了 SWA+Full Attention 这一设计 ，颇有一种 “大路至简” 的设计思路。
只管代替了 85% 的 Full Attention 成 SWA ，剩下的 15% Full Attention 在超长序列（1M）下依然会成为机能瓶颈。今天 ，为了彻底解决 Attention 的推理瓶颈 ，来自阿里的 RTP 团队推出了第二代 Attention 压缩技术：RTPurboV2。通过结合 Headwise 压缩 ，低秩投影压缩 ，以及聚类技术 ，RTPurboV2 能够在 V1 架构的基础上 ，进一步在 Full Attention 部门实现 16~32 倍推算压缩。
Full Attention 模型在预训练过程中 ，已经自觉地形成炼度稀少确把稳力结构。我们要做的不是 "强加" 稀少性 ，而是 "开释" 它。这个判断成立在四个可量化的关键发现之上。
钻研人员发现 ，在 Full Attention 模型中 ，分歧的 Attention Head 现实上承担着分歧的职责。有些 Head 专一于捉拿部门信息（好比相邻 token 之间的关系） ，有些 Head 则掌管捉拿长距离依赖（好比与自身有关信息的关联）。
约 15% 的 Head 阐发出显著的 "召回头"（retrieval head）特点：它们确把稳力散布极度稀少 ，只关注少数几个关键 token ，掌管长距离信息召回其余 85% 的 Head 则是 "流式头"（streaming head）：它们确把稳力散布相对均匀 ，更多关注部门高低文
这种分工模式在分歧输入、分歧序列长度下高度不变 ，是模型在预训练中自觉习得的内涵结构。直接推论：85% 的 Full Attention 推算能够安全地代替为 SWA（参考 RTPurbo） ，险些不影响模型能力。真正必要解决的 ，只有渣滓 15% 召回头的高效推算问题
召回头的主题工作是在整个序列中做语义匹配 —— 看起来依然是 O (N^2) 的问题。RTPurboV2 的主题技术升级之一是对于召回头和 RoPE 的详细理解。在深刻分析 RoPE 地位编码的频率结构后 ，团队发现了召回头的 RoPE 分量存在显著的维度冗余。在 RoPE 下 ，Query-Key 确把稳力得分能够分化为分歧频率分量的叠加：
低频分量（θ_i 较�。核娴匚黄苹郝涠� ，承载 token 间的语义有关性信号高频分量（θ_i 较大）：随地位偏移急剧振荡 ，引入距离敏感性滋扰
对于长距离检索而言 ，高频分量导致把稳力得分随地位距离剧烈颠簸 ，减弱了语义信号的不变传递。而从召回工作自身的性质启程：一个 token 的召回强度不应随相对地位的变动而急剧颠簸。由此能够揣度 ，在召回头上的高频分量肯定是出于被压造状态 ，召回头性质上只会利用 RoPE 低频分量。
因而 ，一个很天然的设计是训练一个低维 projector ，我们通过低峙壮射将原始特点维度从 D 压缩至 r=16 (其中 r ? D) ，系统性地保留低频语义分量、过滤高频地位噪声。尝试验证 ，仅 16 维即可达到 90%+ 的 token 召回率。
这是 RTPurboV2 的主题技术升级之二。团队意识到低秩投影带来的增益不止于推算量的直接降低 —— 它从底子上改善了 Key 向量在语义空间中的散布质量。高频噪声被过滤后 ，语义类似的 token 在低秩空间中天然聚拢 ，语义无关的 token 彼此远离。这为序列维度的进一步压缩创造了梦想前提。
特点维度压缩→ 降低单步推算开销 ，同时产出高质量聚类输入序列维度压缩（聚类）→ 跳过大量语义无关 token ，降低总推算步数协同效应 → 特点压缩提纯后的向量让聚类中心更精准 ，使得在极端压缩比下依然维持高召回率
传统的稀少把稳力步骤通常选取固定 top-k 战术 ，即每个 query 只保留 attention score 最高的 k 个 token。但这种做法存在一个底子性问题：分歧的 attention head、分歧的序列长度、分歧的 query ，所需的高低文 token 数量差距巨大。
在数十万亿 token 的预训练语境下 ，1M token 险些能够忽略。这也从另一个角度验证了主题论点：Full Attention 的稀少性是内生的 ，微调只是实现从隐式到显式的转化。
在 Qwen3-Coder-30B-A3B 模型上 ，我们通过离线校准鉴别出约 15% 的关键 “召回头”。针对这些 Head ，我们在 Prefill 阶段选取 Full Attention 并共同 K Cache 聚类 ，在 Decode 阶段则利用 RTPurboV2 实现稀少化；其余流式头统一选取 SWA（部门窗口设为 8192）。
如图 3 所示 ，RTPurboV2 在 32K 和 64K 序列长度下均获得了最优均匀分（别离为 89.69 和 85.61） ，显著优于除 Full Attention 表的所有基线步骤 ，证了然其在长程信息召回上的卓越精度。
针对 Qwen3.5-35B-A3B 模型 ，校准显示其超过 70% 的 Head 拥有召回个性。为此 ，我们采取了全量稀少化战术。尝试了局（图 4）批注 ，RTPurboV2 在大幅降低推算开销的同时 ，齐全保留了模型的基础能力 ，精度阐发与 Full Attention 吃旖。
在链式思想（CoT）推理工作中 ，RTPurboV2 同样阐发杰出（图 5） ，实现了模型推理能力的近乎无损保留 ，进一步验证了该规划在复杂逻辑场景下的鲁棒性。
当前把稳力机造的钻研沉心 ，大量集中在设计全新的高效架构上。这条蹊径无疑有其价值。但 RTPurboV2 揭示了一个容易被忽视的事实：Full Attention 模型自身就蕴含着巨大的效能空间 ，而开释这种内生稀少性的成本极低。
600 步训练 ，精度险些无损 ，Prefill 最高 9.36 倍加快。这意味着 ，对于选择 SWA + Full Attention 混合架构的团队 —— 蕴含 MIMO、Gemma 4、GPT-OSS——不必要代替架构就能获得靠近 SOTA 新规划的压缩效能
RTP-LLM 是阿里巴巴智能引擎团队自研的高机能大模型推理引擎 ，支持了淘宝、天猫、高德等主题业务的大模型推理需要。智能引擎源自阿里巴巴搜索、推荐和告白技术 ，是阿里 AI 工程领域的先行者和深耕者。团队专一于 AI 工程系统的建设 ，主导成立了大数据 AI 工程系统 AI?OS ，持续为阿里集团各业务提供高质量的 AI 工程服务。
《既往深咎》BY糠木一家这样的“共享理疗馆”经过总部培训后，1-2人就能管，搭配智能设备与预约系统，大大节约人工成本的同时，还能增加客户粘性。成功将过去只属于少数人的长寿服务，变成了一门普通人触手可及、合伙人可快速复制的社区新生意。中国的绿色奇迹是怎样炼成的？最根本的，是科学理论的指引。党的十八大以来，以习近平同志为核心的党中央把生态文明建设作为关系中华民族永续发展的根本大计，大力推动生态文明理论创新、实践创新、制度创新，创造性提出一系列新理念新思想新战略，形成了习近平生态文明思想。“生态兴则文明兴”的历史观，“坚持人与自然和谐共生”的自然观，“绿水青山就是金山银山”的发展观，“良好生态环境是最普惠的民生福祉”的民生观，“统筹山水林田湖草沙综合治理”的系统观，“建设美丽中国全民行动”的共治观……习近平生态文明思想系统回答了建设什么样的生态文明、怎样建设生态文明等重大理论和实践问题，为新时代生态文明建设提供了根本遵循，凝聚起保护生态环境、践行绿色发展的强大共识与行动力量。新时代以来，生态文明建设决心之大、力度之大、成效之大前所未有，美丽中国建设迈出重大步伐。《既往深咎》BY糠木《《农家妹子2》免费旁观高清》它将断裂的石块铺成栈道，穿梭于嶙峋山石间，甚至有一个颇有野趣的山洞，正如桃花源记中“山有小口，仿佛若有光。”穿过山洞，伸手就能接住飞溅瀑水。同时，园内造景山体摒弃固化观赏造型，保留自然坡度肌理，除了远观，还可登可攀。教师工会呼吁暂停举办球迷节。CNTE的佩德罗-埃尔南德斯-莫拉莱斯对半岛电视台表示，如果诉求得不到满足，“足球就不会滚动起来”，但政府拒绝让步。
20260608 ? 《既往深咎》BY糠木再聊聊你的前锋。考虑到这里的环境条件，哈里-凯恩是不是你最需要谨慎管理出场时间的球员之一？伊万-托尼和沃特金斯又能提供哪些不同特点？战败沦为玩物BY夏布多昂免费阅读全文摩根大通分析师团队由上月刚接手特斯拉研究覆盖的Rajat Gupta领衔，在周五发布的报告中指出，投资者正将目光投向特斯拉放缓的核心电动车业务之外，聚焦于机器人出租车、人形机器人、AI芯片及软件服务等未来增长引擎，这些业务有望在未来十年重塑公司盈利结构。
20260608 ? 《既往深咎》BY糠木我们有一些专门的准备，比如更多去桑拿，或者待在高温环境里训练。现在在这里训练时，我们也会多穿一点衣服，让身体提前适应那边的气候。之后我们也会尽早过去，在当地完成最后的适应。《拍戏使劓进入江锦的幼说叫什么》无论希拉背后有多少经验，他于2019年通过马诺洛·萨尔瓦多领导的体育总监部门加入莱万特，他的职业生涯起点与现在完全不同。他在巴塞罗那自治大学学习新闻学，获得视听传播与广告博士学位，并通过国际奥委会的研究生奖学金完成了一篇分析赛事观众参与度的论文。尽管如此，他在硕士课程中一门使用应用程序分析社交媒体数据的课程，成为了他通过数据存储和分析进入足球世界的决定性一步。
京公网安备11010202000001号
