这项由SambaNova Systems（一家专一于AI基础设施的科技公司）钻研团队实现的钻研，以预印本大局颁布于2026年5月31日，编号为arXiv:2606.01336，论文标题为《LongAttnComp: Cross-Family Context Compression for Long-Context Reasoning》，有兴致深刻相识的读者能够通过上述编号查问齐全论文。
如果你是一位律师助理，老板给了你一份两百页的合同，要你在五分钟内找出其中一处关键的缝隙条款。这件事难在哪里？难在内容太多，有效信息太少，大量篇幅是无关紧要的体式条款。你得在茫茫文字中，像海底捞针一样找到那几行关键文字。
当今的大型说话模型（简称"大模型"，就是ChatGPT、DeepSeek这类AI）面对的困境与此惊人地类似。随着人们越来越多地将超长文档——几十万字的代码库、数百页的司法文书、陆续几幼时的对话纪录——直接丢给AI处置，AI所必要"阅读"的内容量早已突破了十万甚至二十万个"词语单元"（专业上称为"token"，能够粗略理解为AI处置文字的根基单元）。
这种超长输入对AI系统来说，价值极其高昂。每多处置一个词，推算机就要多亏损一点内存和算力，而这个亏损不是线性增长，是成倍增长的。处置十万词的成本，远不止是处置一万词的十倍那么单一——就如统一锅饭能养活十幼我，但要养活一百幼我，你必要的远不止是十口锅，还有十倍的燃气、十倍的厨师、十倍的餐具。
SambaNova Systems的钻研团队正是针对这一"大模型阅读焦虑"问题，提出了一套名为LongAttnComp的解决规划。它的主题思路能够用一个词概括：压缩。但这可不是单一地把文章截短，而是像一位经验丰硕的文件助理，先急剧浏览全文，把真正有效的段落挑出来，再交给老板细读——既节俭了老板的功夫，又不迷失任何关键信息。
既然文章太长，最直观的法子就是截断——保留前面一部门，把超出长度限度的内容直接抛掉。现实上，好多AI系统今天仍在这样做，这种步骤叫"中央截断"（middle-truncation）。
但这个步骤有一个致命问题：关键信息可能刚好藏在被截掉的那部门里。钻研领域有一个驰名的景象叫"迷失在中央"——钻研者发现，当一段文字被搁置在超长文档的中央地位时，AI往往会忽略它，即便那段文字极度沉要。这就好比一本两百页的书，第一章和最后一章总是被读者记住，但第八十七页的内容，大无数人读完之后底子想不起来。
正由于单一截断会迷失信息，钻研者们起头索求"高低文压缩"这条路。高低文压缩的思路是：与其截断，不如筛选。把整篇文档扫一遍，只保留与当前问题有关的部门，去掉那些与问题无关的内容。
目前已有的压缩规划大体分为两类。第一类叫"抽取式压缩"，就像用荧光笔在原文上象征，只保留被象征的部门。第二类叫"天生式压缩"，就像请人把原文概括成提要，用新的文字沉新表白原文意思。两类步骤各有曲直，但都面对一个共同难题：怎么知路哪些内容是"有效的"？
此前有一个叫Speculative Prefill（投契式预填充）的规划，用一个轻量级的"草稿模型"先急剧扫描文档，凭据它对文字沉要性的判断来压缩内容，齐全不必要专门训练，开箱即用。这个规划在好多工作上阐发不错，但在"代码调试"这类必要深度理解的长文本工作上，阐发就差强人意了。另一个叫AttnComp的规划则选择专门训练一个评吩祺，成效有所提升，但它只在短文本（约一万两千个词）上做过测试，训练数据也只用了一个起源，合用领域相当有限。
你走进图书馆，提出一个问题："合同第三方责任条款有没有缝隙？"图书馆员没有把整个馆藏都搬给你，而是凭借多年堆集的检索经验，急剧扫视书架，挑出三四本最有关的书，按原来的编号挨次排好，放在你刻下。你只必要读这几本书，就能找到答案。
第一步叫"评分"。整个超长文档被切割成固定大幼的"文字块"（每块蕴含若干个词），而后一个经过专门训练的"评吩祺"对每个文字块打分，分数代表该文字块与你提出的问题的有关水平。这个评吩祺性质上是一个经过特殊刷新的AI模型：它的主体（Llama-3.1-8B这个大模型的前13层）被"冻结"起来，不参加训练，只掌治理解文字；在它上面额表加了一个可训练的"交叉把稳力层"（能够理解为专门推算"问题"和"文字块"之间匹配水平的�？椋�，这才是真正被训练的部门。整个评吩祺只有约0.5%的参数参加训练，极度轻量。
第二步叫"筛选"。评分实现后，所有文字块按分数从高到低分列，而后从最高分隔始顺次拔取，直到满足终场前提为止。LongAttnComp在这里做了一个沉要改进：引入了"token预算"机造。单一说，就是设定一个保留内容的字数上限（好比16000个词），拔取文字块直到凑够这个上限，或者累计分数超过某个阈值（p=0.95）为止。这比原版AttnComp的规划更不变，不会由于分数推算的幼误差导致保留内容过少。
第三步叫"天生"。筛选实现后，被保留的文字块会依照它们在原文中的先后挨次沉新分列好（而不是按分数凹凸分列），形成一份"压缩版文档"，交给真正掌管回覆问题的大模型（好比DeepSeek、GPT等）。指标大模型拿到这份压缩版文档后，只必要处置一万六千词而非十万词以上的内容，既节俭了大量推算资源，又由于保留了最关键的段落，答题正确率得以维持甚至提升。
第一项刷新是"分块方式"的扭转。原版AttnComp把每一篇文档当作一个整体来评分——但在真实世界里，好多长文本并不是由一篇篇独立文档拼起来的，而是一整段陆续的代码、一整份合同、一整篇长汇报。对这类内容，就没有"文档"可言了。LongAttnComp的解决规划是烧毁"文档级别"的评分，改为固定大幼的"词块级别"评分：把整篇文章切成固定长度的幼块（好比每块1024个词），对每块别离打分。这不仅能处置没有清澈文档天堑的长文本，还让"块的大幼"成为一个可调节的参数——针对分歧工作，能够选择分歧的块大幼，以达到最优成效。
第二项刷新是"筛选机造"的升级。上文已提到"token预算"的引入，这里补充一个更细节的设计。在某些工作中，有效的信息极度集中，只必要很少的块就能覆盖全数关键内容；但在另一些工作中，有效的信息分散在全文遍地，若是过早终场筛选，就会漏掉沉要证据。为了应对后一种情况，LongAttnComp还支持一种"只看预算"的模式：齐全不论累计分数是否已经够高，只管一向拔取评分最高的块，直到凑满预算上限为止。这两种模式各有合用场景，钻研团队在分歧工作上别离测试了哪种模式更好。
第三项刷新是"地位还原"。按分数排序筛选出来的块，并不是随机分列的，但它们的先后挨次被打乱了。读者都知路，一篇文章的段落挨次是有意思的，后面的段落往往依赖前面的铺垫。LongAttnComp在把筛选了局交给指标模型之前，会把各个块复原到它们在原文中的挨次，维持文章的逻辑连贯性。
第四项刷新是"问题解析器"的设计。评吩祺必要知路"你的问题是什么"，能力推算文字块与问题的有关水平。原版AttnComp如果问题总是呈此刻固定地位，这在体式整齐的问答数据集上没问题，但在真实利用中，问题可能藏在提醒词的任何地位，体式千变万化。LongAttnComp引入了一个单一但实用的规划：直接取输入内容的最后若干个词（好比最后128个词）作为"问题"，不论体式若何。尝试证明，这个粗鲁但实用的规划，与精确解析问题天堑的规划相比，正确率损失不到1个百分点，大大降低了部署难度。
评吩祺的能力，很大水平上取决于它被若何训练。SambaNova团队为LongAttnComp设计了一套"两阶段训练规划"，能够用造就一名全能型钻研助理的过程来理解。
第一阶段，打基础。钻研团队为评吩祺筹备了3.2万条训练样本，起源是SQuAD（一个经典的英文问答数据集，每个问题只必要找到一篇文章中的一个事实）和HotpotQA（必要同时参考两篇文章能力回覆的多跳问题数据集）。训练样本的机关方式仿照了一种叫"NIAH"（"海底捞针"）的经典测试：把真正有效的段落藏进一堆无关文章中，让评吩祺学会把"针"从"草堆"里找出来。训练实现后，评吩祺在代码调试和单针、多键检索工作上阐发很好，但在必要跨多篇文档综合推理的工作上依然阐发欠佳。
第二阶段，拓能力�；诘谝唤锥蔚哪Ｐ统中盗�，新参与了两类更难的数据：MuSiQue（必要2到4篇文章的多跳推理数据集）和2WikiMultiHopQA（跨维基百科多文章推理）。同时，第一阶段的数据也按比例混入，预防模型"健忘"之前学到的基础能力（这种步骤叫"回放"，就像温习旧知识预防忘却）。
在第二阶段的训练中，团队还测试了一个有趣的设计选择：对于MuSiQue的多跳问题，训练时是否在问题里额表附上问题的分化步骤？好比，问题自身是"谁是X国总统的母亲的故里市长？"，附加版本则会额表提醒"第一步：X国总统是谁？第二步：他的母亲是谁？第三步：她的故里在哪里？第四步：那里的市长是谁？"。带分化步骤的版本叫"subq"，不带的叫"nosubq"。两个版本都被训练出来并别离评测，钻研了局批注两者各有输赢，没有绝对的赢家，但在某些工作上subq版本有肯定优势，这个发现被钻研团队视为一个值得未来深刻索求的设计选项。
钻研团队在三个主流测试场景下评估了LongAttnComp的阐发，指标模型涵盖了来自三个分歧家族的四款主流大模型：DeepSeek-R1-0528、DeepSeek-V3.1、MiniMax-M2.5和GPT-OSS-120B。压缩器使用Llama-3.1-8B-Instruct的前13层作为骨干，训练实现后不针对任何指标模型做额表调整，直接通用。
在最沉要的测试场景——InfiniteBench的代码调试工作上，测试文档均匀长度约11.5万词，部门超过20万词。不做压缩直接送入DeepSeek-R1-0528时，正确率是74.37%。Speculative Prefill压缩后，正确率跌到62.44%，损失近12个百分点。LongAttnComp第一阶段模型在压缩至约1.6万词的前提下，反而把正确率推到了75.38%，比不压缩还要逾越整整一个百分点。第二阶段的subq版本进一步提升到76.90%，是所有规划中最高的。
这个了局乍看令人费解——压缩后反而比不压缩更正确，原因是什么？原来，超长文档中存在大量无关代码和滋扰信息，连大模型也会被这些噪音分散把稳力。LongAttnComp把最关键的代码段提炼出来后，大模型反而能更专一地分析真正有问题的那段代码，就如同把一份杂乱无章的文件整顿成一份清澈的提要，反而更容易找到关键信息。
跨模型的泛化能力测试了局同样令人印象深刻。在DeepSeek-V3.1上，LongAttnComp第一阶段正确率达65.73%，相比不压缩的67.51%差距仅约2个百分点，而Speculative Prefill则跌到59.14%。在MiniMax-M2.5上，不压缩正确率83.76%，LongAttnComp第一阶段达81.22%，Speculative Prefill则只有57.10%，差距多达26个百分点。在GPT-OSS-120B上，不压缩86.00%，LongAttnComp第一阶段82.99%，Speculative Prefill仅52.28%，差距超过30个百分点。这意味着LongAttnComp这个用Llama模型训练出来的压缩器，可能跨家族地适配齐全分歧架构的大模型，而无需为每个指标模型单独沉新训练。
在更宽泛的多文档推理测试场景LongBench v2上，情况更能体现两阶段训练的价值。第一阶段模型的总体正确率只有41.7%，不仅低于不压缩的56.7%，甚至低于Speculative Prefill的46.3%。但第二阶段训练后，subq版本的总体正确率回升到48.9%，nosubq版本达到49.7%，双双超过Speculative Prefill，与截断版全文（51.1%）的差距缩幼到1到2个百分点以内。其中，subq版本在"长文档"分类下的提升尤为显眼，从41.7%跃升至53.7%，提升幅度达12个百分点。
在合成检索测试集RULER上，LongAttnComp在"单针检索"工作（文档中藏着一条关键信息）上阐发险些美满：原始测试集中全文本正确率仅57.4%（注明AI的确会"迷失在中央"），LongAttnComp第一阶段模型则以极幼的压缩文本（均匀约2000词，远低于16000词的预算上限）达到了99.2%的正确率。在必要同使匾到散布在多处的多条信息时，LongAttnComp也优于不压缩规划，只在信息极端分散的"多值"和"多查问"子工作上略有不及，与LongBench v2的法规一致。
除了正确率，效能也是这套规划的沉要优势。Speculative Prefill曾有汇报显示，将12.8万词的文档压缩至1.6万词，首个词的天生功夫（TTFT，time-to-first-token，类迸宗你点菜后等第一路菜上桌的功夫）从46秒降至2.5秒，足足快了18倍多。
LongAttnComp的压缩器只用了Llama模型前13层（共32层），相当于用约40%的模型做评分工作。由此推算，LongAttnComp的压缩开销约为Speculative Prefill的三分之一，而在正确率上还更胜一筹�；痪浠八�，这套规划不仅让大模型回覆得更准，还让整个系统跑得更快、破费更少。
训练数据的局限是最凸起的问题。无论是第一阶段还是第二阶段，训练数据都来自合成机关的"海底捞针"体式，把真实问答数据集的段落藏进随机填充的滋扰内容里。真实世界的长文档往往比这复杂得多，证据之间的关联更曲折，推理链条更多跳，这正是LongBench v2依然留有差距的底子原因。团队以为，引入更多天然采集的长文本训练数据是下一步的首要工作。
超参数对工作的依赖性也是一个现实使用中的麻烦�？榈拇笮。ù氲魇杂�1024词/块，合成检索用256词/块，多文档推理用32词/块）、问题窗口大�。�128到512词不等）、筛选模式（累计分数还是纯预算）都必要凭据工作类型调整。在不知路工作类型的情况下，一套固定配置会让某些工作的阐发大打折扣。钻研团队以为，设计一个能自动感知工作类型并调整参数的自适应机造，是值得深刻钻研的方向。
此表，本钻研所有尝试都使用统一个压缩器骨干（Llama-3.1-8B-Instruct），更幼或更大的骨干模型是否同样合用，尚未测试。所有指标模型也都通过SambaNova云端API挪用，没有直接的硬件效能丈量数据，真实的端到端速度提升只能凭据理论估算。
说到底，LongAttnComp做的事件，和一位优良的阅读助理没有太大区别：在你开口问问题之前，先把那本厚厚的汇报急剧翻一遍，标出最值得你关注的段落，按原来的挨次整齐摆好，再递到你手边。只不外，这位助理受过专门训练，速度极快，并且无论你问的是代码缝隙、汗青事务还是多文档综合分析，都能胜任。
这项钻研对通常人的意思在于：随着AI工具越来越多地进入日常工作，处置速度和成本将直接影响使用履历。LongAttnComp这类压缩技术，是让AI工具从"偶然用用"造成"随时可用"的关键一环。当一个司法AI助理能在几秒钟内从一份两百页合同中找到关键条款，而不是花几十秒"慢慢读完"；当一个代码审查AI能急剧定位一个十万行项目中的bug，而不是被无关代码覆没——这些都离不开高效靠得住的高低文压缩技术在背后支持。
对这个领域感兴致的读者，能够持续思虑这样一个问题：压缩自身是否也会损失信息？钻研团队的数据批注，在某些工作上压缩反而提升了正确率，这注明"更少但更精准"有时辰胜过"更多但充斥噪音"。这个发现对人类自己的阅读和进建方式，是否也有一些启发？想深刻相识齐全技术细节的读者，可通过arXiv:2606.01336查阅原论文。
A：LongAttnComp不是写提要，而是"抽取式压缩"——它直接从原文中遴选最有关的段落，维持原始文字不变，按原来的挨次拼在一路。提要是用新的说话沉新概括，可能会引入误差；LongAttnComp保留的是原文片段，指标大模型读到的是真实的原始内容，不存在提要带来的二次理解误差。
A：原因在于超长文档中存在大量与问题无关的滋扰内容，大模型在处置时同样会被这些内容分散把稳力，导致对关键信息的关注度降落（钻研者称之为"迷失在中央"景象）。LongAttnComp把无关内容过滤掉后，指标模型能更专一地处置真正有关的段落，反而做出更正确的判断。
A：根基能够，这正是这项钻研的亮点之一。训练时使用的是Llama-3.1-8B模型，但尝试证明，不经过任何针对性调整，统一个压缩器就能直接用于DeepSeek、MiniMax、GPT-OSS等齐全分歧家族的大模型，正确率损失很幼。这意味着压缩器训练一次就能宽泛适配多种指标模型，大大降低了现实部署成本。
免费行情.WWW百度全行搜索“说白了就是朋友间轻松拌嘴，我和阿尔瓦拉多认识很久了。他投进一球就唠两句，我投进三分也回敬几句，无非就是‘这球漂亮吧’这类玩笑，没有过激冲突。”F-35A战斗机已经获得投掷核武器的认证。对于美国核武器重返英国，俄罗斯总统新闻秘书、克里姆林宫发言人佩斯科夫曾表示，欧洲核武扩散并不会增加欧洲大陆的安全。免费行情.WWW百度全行搜索《危险方便店》而在辅导过程中，玖行能源存在的主要问题包括关联方梳理及关联交易规范、客户风险评估与应收账款管理、收入确认的规范性。皇马已经连续2个赛季四大皆空。对皇马高层、球迷以及会员来说，这都是无法接受的，弗洛伦蒂诺也因此遭到了信任危机。在这种情况下，弗洛伦蒂诺宣布提前进行皇马主席的大选，这是一种推倒重建的决心。
20260607 ? 免费行情.WWW百度全行搜索卡佩罗也对米兰目前的处境表示担忧。卡佩罗表示：“现在这种混乱局面怎么解决？没人知道。没人知道他们想往哪里走，也不知道方向是什么，更不知道接下来到底该做什么。这是一个非常困难的局面，球迷担心完全可以理解。”《4399在线旁观免费高清电视剧百度一下》上田绮世表示：“作为竞技运动员，如果你觉得只靠现在拥有的东西就能一直踢下去，那职业生涯其实已经开始停滞了。现在我确实是用这副身体和现有能力在比赛，但如果我看到了下一步，或者某些方面开始不顺利，到那个阶段如果确实需要更强的身体，我就必须去练。只要我觉得有必要，我就会在那个阶段去做。”
20260607 ? 免费行情.WWW百度全行搜索当地公安机关向李某作出《行政处罚决定书》，对其处以行政拘留五日的处罚，因李某系未成年人，依法不予执行。事发后，张某填报补录志愿，被海南某学校录取，就读至今。〖费旁观60分钟极速电视剧双挠追“那届比赛我记得非常清楚，从预选赛开始，一直到最后一场对德国的比赛，我们几乎经历了一切。那场比赛我们表现得非常出色，向世界展示了阿尔及利亚队的积极形象，也让国家感到自豪。”
京公网安备11010202000001号
