这项由SambaNova Systems（一家专一于AI基础设施的科技公司）钻研团队实现的钻研 ，以预印本大局颁布于2026年5月31日 ，编号为arXiv:2606.01336 ，论文标题为《LongAttnComp: Cross-Family Context Compression for Long-Context Reasoning》 ，有兴致深刻相识的读者能够通过上述编号查问齐全论文。
如果你是一位律师助理 ，老板给了你一份两百页的合同 ，要你在五分钟内找出其中一处关键的缝隙条款。这件事难在哪里 ？难在内容太多 ，有效信息太少 ，大量篇幅是无关紧要的体式条款。你得在茫茫文字中 ，像海底捞针一样找到那几行关键文字。
当今的大型说话模型（简称"大模型" ，就是ChatGPT、DeepSeek这类AI）面对的困境与此惊人地类似。随着人们越来越多地将超长文档——几十万字的代码库、数百页的司法文书、陆续几幼时的对话纪录——直接丢给AI处置 ，AI所必要"阅读"的内容量早已突破了十万甚至二十万个"词语单元"（专业上称为"token" ，能够粗略理解为AI处置文字的根基单元）。
这种超长输入对AI系统来说 ，价值极其高昂。每多处置一个词 ，推算机就要多亏损一点内存和算力 ，而这个亏损不是线性增长 ，是成倍增长的。处置十万词的成本 ，远不止是处置一万词的十倍那么单一——就如统一锅饭能养活十幼我 ，但要养活一百幼我 ，你必要的远不止是十口锅 ，还有十倍的燃气、十倍的厨师、十倍的餐具。
SambaNova Systems的钻研团队正是针对这一"大模型阅读焦虑"问题 ，提出了一套名为LongAttnComp的解决规划。它的主题思路能够用一个词概括：压缩。但这可不是单一地把文章截短 ，而是像一位经验丰硕的文件助理 ，先急剧浏览全文 ，把真正有效的段落挑出来 ，再交给老板细读——既节俭了老板的功夫 ，又不迷失任何关键信息。
既然文章太长 ，最直观的法子就是截断——保留前面一部门 ，把超出长度限度的内容直接抛掉。现实上 ，好多AI系统今天仍在这样做 ，这种步骤叫"中央截断"（middle-truncation）。
但这个步骤有一个致命问题：关键信息可能刚好藏在被截掉的那部门里。钻研领域有一个驰名的景象叫"迷失在中央"——钻研者发现 ，当一段文字被搁置在超长文档的中央地位时 ，AI往往会忽略它 ，即便那段文字极度沉要。这就好比一本两百页的书 ，第一章和最后一章总是被读者记住 ，但第八十七页的内容 ，大无数人读完之后底子想不起来。
正由于单一截断会迷失信息 ，钻研者们起头索求"高低文压缩"这条路。高低文压缩的思路是：与其截断 ，不如筛选。把整篇文档扫一遍 ，只保留与当前问题有关的部门 ，去掉那些与问题无关的内容。
目前已有的压缩规划大体分为两类。第一类叫"抽取式压缩" ，就像用荧光笔在原文上象征 ，只保留被象征的部门。第二类叫"天生式压缩" ，就像请人把原文概括成提要 ，用新的文字沉新表白原文意思。两类步骤各有曲直 ，但都面对一个共同难题：怎么知路哪些内容是"有效的" ？
此前有一个叫Speculative Prefill（投契式预填充）的规划 ，用一个轻量级的"草稿模型"先急剧扫描文档 ，凭据它对文字沉要性的判断来压缩内容 ，齐全不必要专门训练 ，开箱即用。这个规划在好多工作上阐发不错 ，但在"代码调试"这类必要深度理解的长文本工作上 ，阐发就差强人意了。另一个叫AttnComp的规划则选择专门训练一个评吩祺 ，成效有所提升 ，但它只在短文本（约一万两千个词）上做过测试 ，训练数据也只用了一个起源 ，合用领域相当有限。
你走进图书馆 ，提出一个问题："合同第三方责任条款有没有缝隙 ？"图书馆员没有把整个馆藏都搬给你 ，而是凭借多年堆集的检索经验 ，急剧扫视书架 ，挑出三四本最有关的书 ，按原来的编号挨次排好 ，放在你刻下。你只必要读这几本书 ，就能找到答案。
第一步叫"评分"。整个超长文档被切割成固定大幼的"文字块"（每块蕴含若干个词） ，而后一个经过专门训练的"评吩祺"对每个文字块打分 ，分数代表该文字块与你提出的问题的有关水平。这个评吩祺性质上是一个经过特殊刷新的AI模型：它的主体（Llama-3.1-8B这个大模型的前13层）被"冻结"起来 ，不参加训练 ，只掌治理解文字；在它上面额表加了一个可训练的"交叉把稳力层"（能够理解为专门推算"问题"和"文字块"之间匹配水平的� ？椋� ，这才是真正被训练的部门。整个评吩祺只有约0.5%的参数参加训练 ，极度轻量。
第二步叫"筛选"。评分实现后 ，所有文字块按分数从高到低分列 ，而后从最高分隔始顺次拔取 ，直到满足终场前提为止。LongAttnComp在这里做了一个沉要改进：引入了"token预算"机造。单一说 ，就是设定一个保留内容的字数上限（好比16000个词） ，拔取文字块直到凑够这个上限 ，或者累计分数超过某个阈值（p=0.95）为止。这比原版AttnComp的规划更不变 ，不会由于分数推算的幼误差导致保留内容过少。
第三步叫"天生"。筛选实现后 ，被保留的文字块会依照它们在原文中的先后挨次沉新分列好（而不是按分数凹凸分列） ，形成一份"压缩版文档" ，交给真正掌管回覆问题的大模型（好比DeepSeek、GPT等）。指标大模型拿到这份压缩版文档后 ，只必要处置一万六千词而非十万词以上的内容 ，既节俭了大量推算资源 ，又由于保留了最关键的段落 ，答题正确率得以维持甚至提升。
第一项刷新是"分块方式"的扭转。原版AttnComp把每一篇文档当作一个整体来评分——但在真实世界里 ，好多长文本并不是由一篇篇独立文档拼起来的 ，而是一整段陆续的代码、一整份合同、一整篇长汇报。对这类内容 ，就没有"文档"可言了。LongAttnComp的解决规划是烧毁"文档级别"的评分 ，改为固定大幼的"词块级别"评分：把整篇文章切成固定长度的幼块（好比每块1024个词） ，对每块别离打分。这不仅能处置没有清澈文档天堑的长文本 ，还让"块的大幼"成为一个可调节的参数——针对分歧工作 ，能够选择分歧的块大幼 ，以达到最优成效。
第二项刷新是"筛选机造"的升级。上文已提到"token预算"的引入 ，这里补充一个更细节的设计。在某些工作中 ，有效的信息极度集中 ，只必要很少的块就能覆盖全数关键内容；但在另一些工作中 ，有效的信息分散在全文遍地 ，若是过早终场筛选 ，就会漏掉沉要证据。为了应对后一种情况 ，LongAttnComp还支持一种"只看预算"的模式：齐全不论累计分数是否已经够高 ，只管一向拔取评分最高的块 ，直到凑满预算上限为止。这两种模式各有合用场景 ，钻研团队在分歧工作上别离测试了哪种模式更好。
第三项刷新是"地位还原"。按分数排序筛选出来的块 ，并不是随机分列的 ，但它们的先后挨次被打乱了。读者都知路 ，一篇文章的段落挨次是有意思的 ，后面的段落往往依赖前面的铺垫。LongAttnComp在把筛选了局交给指标模型之前 ，会把各个块复原到它们在原文中的挨次 ，维持文章的逻辑连贯性。
第四项刷新是"问题解析器"的设计。评吩祺必要知路"你的问题是什么" ，能力推算文字块与问题的有关水平。原版AttnComp如果问题总是呈此刻固定地位 ，这在体式整齐的问答数据集上没问题 ，但在真实利用中 ，问题可能藏在提醒词的任何地位 ，体式千变万化。LongAttnComp引入了一个单一但实用的规划：直接取输入内容的最后若干个词（好比最后128个词）作为"问题" ，不论体式若何。尝试证明 ，这个粗鲁但实用的规划 ，与精确解析问题天堑的规划相比 ，正确率损失不到1个百分点 ，大大降低了部署难度。
评吩祺的能力 ，很大水平上取决于它被若何训练。SambaNova团队为LongAttnComp设计了一套"两阶段训练规划" ，能够用造就一名全能型钻研助理的过程来理解。
第一阶段 ，打基础。钻研团队为评吩祺筹备了3.2万条训练样本 ，起源是SQuAD（一个经典的英文问答数据集 ，每个问题只必要找到一篇文章中的一个事实）和HotpotQA（必要同时参考两篇文章能力回覆的多跳问题数据集）。训练样本的机关方式仿照了一种叫"NIAH"（"海底捞针"）的经典测试：把真正有效的段落藏进一堆无关文章中 ，让评吩祺学会把"针"从"草堆"里找出来。训练实现后 ，评吩祺在代码调试和单针、多键检索工作上阐发很好 ，但在必要跨多篇文档综合推理的工作上依然阐发欠佳。
第二阶段 ，拓能力�；诘谝唤锥蔚哪Ｐ统中盗� ，新参与了两类更难的数据：MuSiQue（必要2到4篇文章的多跳推理数据集）和2WikiMultiHopQA（跨维基百科多文章推理）。同时 ，第一阶段的数据也按比例混入 ，预防模型"健忘"之前学到的基础能力（这种步骤叫"回放" ，就像温习旧知识预防忘却）。
在第二阶段的训练中 ，团队还测试了一个有趣的设计选择：对于MuSiQue的多跳问题 ，训练时是否在问题里额表附上问题的分化步骤 ？好比 ，问题自身是"谁是X国总统的母亲的故里市长 ？" ，附加版本则会额表提醒"第一步：X国总统是谁 ？第二步：他的母亲是谁 ？第三步：她的故里在哪里 ？第四步：那里的市长是谁 ？"。带分化步骤的版本叫"subq" ，不带的叫"nosubq"。两个版本都被训练出来并别离评测 ，钻研了局批注两者各有输赢 ，没有绝对的赢家 ，但在某些工作上subq版本有肯定优势 ，这个发现被钻研团队视为一个值得未来深刻索求的设计选项。
钻研团队在三个主流测试场景下评估了LongAttnComp的阐发 ，指标模型涵盖了来自三个分歧家族的四款主流大模型：DeepSeek-R1-0528、DeepSeek-V3.1、MiniMax-M2.5和GPT-OSS-120B。压缩器使用Llama-3.1-8B-Instruct的前13层作为骨干 ，训练实现后不针对任何指标模型做额表调整 ，直接通用。
在最沉要的测试场景——InfiniteBench的代码调试工作上 ，测试文档均匀长度约11.5万词 ，部门超过20万词。不做压缩直接送入DeepSeek-R1-0528时 ，正确率是74.37%。Speculative Prefill压缩后 ，正确率跌到62.44% ，损失近12个百分点。LongAttnComp第一阶段模型在压缩至约1.6万词的前提下 ，反而把正确率推到了75.38% ，比不压缩还要逾越整整一个百分点。第二阶段的subq版本进一步提升到76.90% ，是所有规划中最高的。
这个了局乍看令人费解——压缩后反而比不压缩更正确 ，原因是什么 ？原来 ，超长文档中存在大量无关代码和滋扰信息 ，连大模型也会被这些噪音分散把稳力。LongAttnComp把最关键的代码段提炼出来后 ，大模型反而能更专一地分析真正有问题的那段代码 ，就如同把一份杂乱无章的文件整顿成一份清澈的提要 ，反而更容易找到关键信息。
跨模型的泛化能力测试了局同样令人印象深刻。在DeepSeek-V3.1上 ，LongAttnComp第一阶段正确率达65.73% ，相比不压缩的67.51%差距仅约2个百分点 ，而Speculative Prefill则跌到59.14%。在MiniMax-M2.5上 ，不压缩正确率83.76% ，LongAttnComp第一阶段达81.22% ，Speculative Prefill则只有57.10% ，差距多达26个百分点。在GPT-OSS-120B上 ，不压缩86.00% ，LongAttnComp第一阶段82.99% ，Speculative Prefill仅52.28% ，差距超过30个百分点。这意味着LongAttnComp这个用Llama模型训练出来的压缩器 ，可能跨家族地适配齐全分歧架构的大模型 ，而无需为每个指标模型单独沉新训练。
在更宽泛的多文档推理测试场景LongBench v2上 ，情况更能体现两阶段训练的价值。第一阶段模型的总体正确率只有41.7% ，不仅低于不压缩的56.7% ，甚至低于Speculative Prefill的46.3%。但第二阶段训练后 ，subq版本的总体正确率回升到48.9% ，nosubq版本达到49.7% ，双双超过Speculative Prefill ，与截断版全文（51.1%）的差距缩幼到1到2个百分点以内。其中 ，subq版本在"长文档"分类下的提升尤为显眼 ，从41.7%跃升至53.7% ，提升幅度达12个百分点。
在合成检索测试集RULER上 ，LongAttnComp在"单针检索"工作（文档中藏着一条关键信息）上阐发险些美满：原始测试集中全文本正确率仅57.4%（注明AI的确会"迷失在中央"） ，LongAttnComp第一阶段模型则以极幼的压缩文本（均匀约2000词 ，远低于16000词的预算上限）达到了99.2%的正确率。在必要同使匾到散布在多处的多条信息时 ，LongAttnComp也优于不压缩规划 ，只在信息极端分散的"多值"和"多查问"子工作上略有不及 ，与LongBench v2的法规一致。
除了正确率 ，效能也是这套规划的沉要优势。Speculative Prefill曾有汇报显示 ，将12.8万词的文档压缩至1.6万词 ，首个词的天生功夫（TTFT ，time-to-first-token ，类迸宗你点菜后等第一路菜上桌的功夫）从46秒降至2.5秒 ，足足快了18倍多。
LongAttnComp的压缩器只用了Llama模型前13层（共32层） ，相当于用约40%的模型做评分工作。由此推算 ，LongAttnComp的压缩开销约为Speculative Prefill的三分之一 ，而在正确率上还更胜一筹�；痪浠八� ，这套规划不仅让大模型回覆得更准 ，还让整个系统跑得更快、破费更少。
训练数据的局限是最凸起的问题。无论是第一阶段还是第二阶段 ，训练数据都来自合成机关的"海底捞针"体式 ，把真实问答数据集的段落藏进随机填充的滋扰内容里。真实世界的长文档往往比这复杂得多 ，证据之间的关联更曲折 ，推理链条更多跳 ，这正是LongBench v2依然留有差距的底子原因。团队以为 ，引入更多天然采集的长文本训练数据是下一步的首要工作。
超参数对工作的依赖性也是一个现实使用中的麻烦� ？榈拇笮。ù氲魇杂�1024词/块 ，合成检索用256词/块 ，多文档推理用32词/块）、问题窗口大�。�128到512词不等）、筛选模式（累计分数还是纯预算）都必要凭据工作类型调整。在不知路工作类型的情况下 ，一套固定配置会让某些工作的阐发大打折扣。钻研团队以为 ，设计一个能自动感知工作类型并调整参数的自适应机造 ，是值得深刻钻研的方向。
此表 ，本钻研所有尝试都使用统一个压缩器骨干（Llama-3.1-8B-Instruct） ，更幼或更大的骨干模型是否同样合用 ，尚未测试。所有指标模型也都通过SambaNova云端API挪用 ，没有直接的硬件效能丈量数据 ，真实的端到端速度提升只能凭据理论估算。
说到底 ，LongAttnComp做的事件 ，和一位优良的阅读助理没有太大区别：在你开口问问题之前 ，先把那本厚厚的汇报急剧翻一遍 ，标出最值得你关注的段落 ，按原来的挨次整齐摆好 ，再递到你手边。只不外 ，这位助理受过专门训练 ，速度极快 ，并且无论你问的是代码缝隙、汗青事务还是多文档综合分析 ，都能胜任。
这项钻研对通常人的意思在于：随着AI工具越来越多地进入日常工作 ，处置速度和成本将直接影响使用履历。LongAttnComp这类压缩技术 ，是让AI工具从"偶然用用"造成"随时可用"的关键一环。当一个司法AI助理能在几秒钟内从一份两百页合同中找到关键条款 ，而不是花几十秒"慢慢读完"；当一个代码审查AI能急剧定位一个十万行项目中的bug ，而不是被无关代码覆没——这些都离不开高效靠得住的高低文压缩技术在背后支持。
对这个领域感兴致的读者 ，能够持续思虑这样一个问题：压缩自身是否也会损失信息 ？钻研团队的数据批注 ，在某些工作上压缩反而提升了正确率 ，这注明"更少但更精准"有时辰胜过"更多但充斥噪音"。这个发现对人类自己的阅读和进建方式 ，是否也有一些启发 ？想深刻相识齐全技术细节的读者 ，可通过arXiv:2606.01336查阅原论文。
A：LongAttnComp不是写提要 ，而是"抽取式压缩"——它直接从原文中遴选最有关的段落 ，维持原始文字不变 ，按原来的挨次拼在一路。提要是用新的说话沉新概括 ，可能会引入误差；LongAttnComp保留的是原文片段 ，指标大模型读到的是真实的原始内容 ，不存在提要带来的二次理解误差。
A：原因在于超长文档中存在大量与问题无关的滋扰内容 ，大模型在处置时同样会被这些内容分散把稳力 ，导致对关键信息的关注度降落（钻研者称之为"迷失在中央"景象）。LongAttnComp把无关内容过滤掉后 ，指标模型能更专一地处置真正有关的段落 ，反而做出更正确的判断。
A：根基能够 ，这正是这项钻研的亮点之一。训练时使用的是Llama-3.1-8B模型 ，但尝试证明 ，不经过任何针对性调整 ，统一个压缩器就能直接用于DeepSeek、MiniMax、GPT-OSS等齐全分歧家族的大模型 ，正确率损失很幼。这意味着压缩器训练一次就能宽泛适配多种指标模型 ，大大降低了现实部署成本。
国产手机拍视频推荐2023谷歌云一位发言人表示，此次合作将帮助公司满足AI服务的市场需求。谷歌将此次协议定性为"短期、及时的安排"，目的在于为其智能体平台Gemini Enterprise提供过渡性算力储备，以应对"超出预期"的客户需求激增。进门就是一只浑身带刺的小刺猬。 7岁的姜一郎用尽全力抗拒这位“新妈妈”，会故意打翻她递来的水，会把她的东西藏起来，最伤人的一次冲着周韵大喊：“你不是我妈妈！ ”国产手机拍视频推荐2023红桃视频 但这个方法有一个致命问题：关键信息可能恰好藏在被截掉的那部分里。研究领域有一个著名的现象叫"迷失在中间"——研究者发现，当一段文字被放置在超长文档的中间位置时，AI往往会忽略它，即使那段文字非常重要。这就好比一本两百页的书，第一章和最后一章总是被读者记住，但第八十七页的内容，大多数人读完之后根本想不起来。弗洛伦蒂诺表示：“我们已经谈过穆里尼奥和科纳特了……现在我要说的是邓弗里斯。这个我可以先透露，但我们的引援不会只集中在这几个位置。”
20260609 ? 国产手机拍视频推荐2023当前注意力机制的研究重心，大量集中在设计全新的高效架构上。这条路径无疑有其价值。但 RTPurboV2 揭示了一个容易被忽视的事实：Full Attention 模型自身就蕴含着巨大的效率空间，而释放这种内生稀疏性的成本极低。《暴躁姐姐BGM国语版下载百度云资源》在Raven渐进矩阵（一种类似图形规律判断题的任务）的失败案例里，视觉语言模型误判了正确答案应该是什么形状，生成了一个错误的目标考题，结果优化方向从一开始就跑偏了——哪怕视频真的满足了这个错误考题的要求，也得不到正确答案。这属于"考题出错"类失败。
20260609 ?? 国产手机拍视频推荐2023下赛季你们会和一位新教练合作。斯洛特的消息在荷兰传出来时，大家其实挺震惊的。你自己是什么感受？作为队长，你有没有提前参与其中？周府夫人(高)意料之中的，网友对此并不买账。“自家CEO看不起考公，还开什么培训班呢？”还有人戏仿张小龙演讲的句式嘲讽他：“我今年听了二十多场讲座，你是（讲得）最差的。”
京公网安备11010202000001号
