这项由SambaNova Systems（一家专一于AI基础设施的科技公司）钻研团队实现的钻研，以预印本大局颁布于2026年5月31日，编号为arXiv:2606.01336，论文标题为《LongAttnComp: Cross-Family Context Compression for Long-Context Reasoning》，有兴致深刻相识的读者能够通过上述编号查问齐全论文 。
如果你是一位律师助理，老板给了你一份两百页的合同，要你在五分钟内找出其中一处关键的缝隙条款 。这件事难在哪里？难在内容太多，有效信息太少，大量篇幅是无关紧要的体式条款 。你得在茫茫文字中，像海底捞针一样找到那几行关键文字 。
当今的大型说话模型（简称"大模型"，就是ChatGPT、DeepSeek这类AI）面对的困境与此惊人地类似 。随着人们越来越多地将超长文档——几十万字的代码库、数百页的司法文书、陆续几幼时的对话纪录——直接丢给AI处置，AI所必要"阅读"的内容量早已突破了十万甚至二十万个"词语单元"（专业上称为"token"，能够粗略理解为AI处置文字的根基单元） 。
这种超长输入对AI系统来说，价值极其高昂 。每多处置一个词，推算机就要多亏损一点内存和算力，而这个亏损不是线性增长，是成倍增长的 。处置十万词的成本，远不止是处置一万词的十倍那么单一——就如统一锅饭能养活十幼我，但要养活一百幼我，你必要的远不止是十口锅，还有十倍的燃气、十倍的厨师、十倍的餐具 。
SambaNova Systems的钻研团队正是针对这一"大模型阅读焦虑"问题，提出了一套名为LongAttnComp的解决规划 。它的主题思路能够用一个词概括：压缩 。但这可不是单一地把文章截短，而是像一位经验丰硕的文件助理，先急剧浏览全文，把真正有效的段落挑出来，再交给老板细读——既节俭了老板的功夫，又不迷失任何关键信息 。
既然文章太长，最直观的法子就是截断——保留前面一部门，把超出长度限度的内容直接抛掉 。现实上，好多AI系统今天仍在这样做，这种步骤叫"中央截断"（middle-truncation） 。
但这个步骤有一个致命问题：关键信息可能刚好藏在被截掉的那部门里 。钻研领域有一个驰名的景象叫"迷失在中央"——钻研者发现，当一段文字被搁置在超长文档的中央地位时，AI往往会忽略它，即便那段文字极度沉要 。这就好比一本两百页的书，第一章和最后一章总是被读者记住，但第八十七页的内容，大无数人读完之后底子想不起来 。
正由于单一截断会迷失信息，钻研者们起头索求"高低文压缩"这条路 。高低文压缩的思路是：与其截断，不如筛选 。把整篇文档扫一遍，只保留与当前问题有关的部门，去掉那些与问题无关的内容 。
目前已有的压缩规划大体分为两类 。第一类叫"抽取式压缩"，就像用荧光笔在原文上象征，只保留被象征的部门 。第二类叫"天生式压缩"，就像请人把原文概括成提要，用新的文字沉新表白原文意思 。两类步骤各有曲直，但都面对一个共同难题：怎么知路哪些内容是"有效的"？
此前有一个叫Speculative Prefill（投契式预填充）的规划，用一个轻量级的"草稿模型"先急剧扫描文档，凭据它对文字沉要性的判断来压缩内容，齐全不必要专门训练，开箱即用 。这个规划在好多工作上阐发不错，但在"代码调试"这类必要深度理解的长文本工作上，阐发就差强人意了 。另一个叫AttnComp的规划则选择专门训练一个评吩祺，成效有所提升，但它只在短文本（约一万两千个词）上做过测试，训练数据也只用了一个起源，合用领域相当有限 。
你走进图书馆，提出一个问题："合同第三方责任条款有没有缝隙？"图书馆员没有把整个馆藏都搬给你，而是凭借多年堆集的检索经验，急剧扫视书架，挑出三四本最有关的书，按原来的编号挨次排好，放在你刻下 。你只必要读这几本书，就能找到答案 。
第一步叫"评分" 。整个超长文档被切割成固定大幼的"文字块"（每块蕴含若干个词），而后一个经过专门训练的"评吩祺"对每个文字块打分，分数代表该文字块与你提出的问题的有关水平 。这个评吩祺性质上是一个经过特殊刷新的AI模型：它的主体（Llama-3.1-8B这个大模型的前13层）被"冻结"起来，不参加训练，只掌治理解文字 ；在它上面额表加了一个可训练的"交叉把稳力层"（能够理解为专门推算"问题"和"文字块"之间匹配水平的�？椋�，这才是真正被训练的部门 。整个评吩祺只有约0.5%的参数参加训练，极度轻量 。
第二步叫"筛选" 。评分实现后，所有文字块按分数从高到低分列，而后从最高分隔始顺次拔取，直到满足终场前提为止 。LongAttnComp在这里做了一个沉要改进：引入了"token预算"机造 。单一说，就是设定一个保留内容的字数上限（好比16000个词），拔取文字块直到凑够这个上限，或者累计分数超过某个阈值（p=0.95）为止 。这比原版AttnComp的规划更不变，不会由于分数推算的幼误差导致保留内容过少 。
第三步叫"天生" 。筛选实现后，被保留的文字块会依照它们在原文中的先后挨次沉新分列好（而不是按分数凹凸分列），形成一份"压缩版文档"，交给真正掌管回覆问题的大模型（好比DeepSeek、GPT等） 。指标大模型拿到这份压缩版文档后，只必要处置一万六千词而非十万词以上的内容，既节俭了大量推算资源，又由于保留了最关键的段落，答题正确率得以维持甚至提升 。
第一项刷新是"分块方式"的扭转 。原版AttnComp把每一篇文档当作一个整体来评分——但在真实世界里，好多长文本并不是由一篇篇独立文档拼起来的，而是一整段陆续的代码、一整份合同、一整篇长汇报 。对这类内容，就没有"文档"可言了 。LongAttnComp的解决规划是烧毁"文档级别"的评分，改为固定大幼的"词块级别"评分：把整篇文章切成固定长度的幼块（好比每块1024个词），对每块别离打分 。这不仅能处置没有清澈文档天堑的长文本，还让"块的大幼"成为一个可调节的参数——针对分歧工作，能够选择分歧的块大幼，以达到最优成效 。
第二项刷新是"筛选机造"的升级 。上文已提到"token预算"的引入，这里补充一个更细节的设计 。在某些工作中，有效的信息极度集中，只必要很少的块就能覆盖全数关键内容 ；但在另一些工作中，有效的信息分散在全文遍地，若是过早终场筛选，就会漏掉沉要证据 。为了应对后一种情况，LongAttnComp还支持一种"只看预算"的模式：齐全不论累计分数是否已经够高，只管一向拔取评分最高的块，直到凑满预算上限为止 。这两种模式各有合用场景，钻研团队在分歧工作上别离测试了哪种模式更好 。
第三项刷新是"地位还原" 。按分数排序筛选出来的块，并不是随机分列的，但它们的先后挨次被打乱了 。读者都知路，一篇文章的段落挨次是有意思的，后面的段落往往依赖前面的铺垫 。LongAttnComp在把筛选了局交给指标模型之前，会把各个块复原到它们在原文中的挨次，维持文章的逻辑连贯性 。
第四项刷新是"问题解析器"的设计 。评吩祺必要知路"你的问题是什么"，能力推算文字块与问题的有关水平 。原版AttnComp如果问题总是呈此刻固定地位，这在体式整齐的问答数据集上没问题，但在真实利用中，问题可能藏在提醒词的任何地位，体式千变万化 。LongAttnComp引入了一个单一但实用的规划：直接取输入内容的最后若干个词（好比最后128个词）作为"问题"，不论体式若何 。尝试证明，这个粗鲁但实用的规划，与精确解析问题天堑的规划相比，正确率损失不到1个百分点，大大降低了部署难度 。
评吩祺的能力，很大水平上取决于它被若何训练 。SambaNova团队为LongAttnComp设计了一套"两阶段训练规划"，能够用造就一名全能型钻研助理的过程来理解 。
第一阶段，打基础 。钻研团队为评吩祺筹备了3.2万条训练样本，起源是SQuAD（一个经典的英文问答数据集，每个问题只必要找到一篇文章中的一个事实）和HotpotQA（必要同时参考两篇文章能力回覆的多跳问题数据集） 。训练样本的机关方式仿照了一种叫"NIAH"（"海底捞针"）的经典测试：把真正有效的段落藏进一堆无关文章中，让评吩祺学会把"针"从"草堆"里找出来 。训练实现后，评吩祺在代码调试和单针、多键检索工作上阐发很好，但在必要跨多篇文档综合推理的工作上依然阐发欠佳 。
第二阶段，拓能力 � ；诘谝唤锥蔚哪Ｐ统中盗�，新参与了两类更难的数据：MuSiQue（必要2到4篇文章的多跳推理数据集）和2WikiMultiHopQA（跨维基百科多文章推理） 。同时，第一阶段的数据也按比例混入，预防模型"健忘"之前学到的基础能力（这种步骤叫"回放"，就像温习旧知识预防忘却） 。
在第二阶段的训练中，团队还测试了一个有趣的设计选择：对于MuSiQue的多跳问题，训练时是否在问题里额表附上问题的分化步骤？好比，问题自身是"谁是X国总统的母亲的故里市长？"，附加版本则会额表提醒"第一步：X国总统是谁？第二步：他的母亲是谁？第三步：她的故里在哪里？第四步：那里的市长是谁？" 。带分化步骤的版本叫"subq"，不带的叫"nosubq" 。两个版本都被训练出来并别离评测，钻研了局批注两者各有输赢，没有绝对的赢家，但在某些工作上subq版本有肯定优势，这个发现被钻研团队视为一个值得未来深刻索求的设计选项 。
钻研团队在三个主流测试场景下评估了LongAttnComp的阐发，指标模型涵盖了来自三个分歧家族的四款主流大模型：DeepSeek-R1-0528、DeepSeek-V3.1、MiniMax-M2.5和GPT-OSS-120B 。压缩器使用Llama-3.1-8B-Instruct的前13层作为骨干，训练实现后不针对任何指标模型做额表调整，直接通用 。
在最沉要的测试场景——InfiniteBench的代码调试工作上，测试文档均匀长度约11.5万词，部门超过20万词 。不做压缩直接送入DeepSeek-R1-0528时，正确率是74.37% 。Speculative Prefill压缩后，正确率跌到62.44%，损失近12个百分点 。LongAttnComp第一阶段模型在压缩至约1.6万词的前提下，反而把正确率推到了75.38%，比不压缩还要逾越整整一个百分点 。第二阶段的subq版本进一步提升到76.90%，是所有规划中最高的 。
这个了局乍看令人费解——压缩后反而比不压缩更正确，原因是什么？原来，超长文档中存在大量无关代码和滋扰信息，连大模型也会被这些噪音分散把稳力 。LongAttnComp把最关键的代码段提炼出来后，大模型反而能更专一地分析真正有问题的那段代码，就如同把一份杂乱无章的文件整顿成一份清澈的提要，反而更容易找到关键信息 。
跨模型的泛化能力测试了局同样令人印象深刻 。在DeepSeek-V3.1上，LongAttnComp第一阶段正确率达65.73%，相比不压缩的67.51%差距仅约2个百分点，而Speculative Prefill则跌到59.14% 。在MiniMax-M2.5上，不压缩正确率83.76%，LongAttnComp第一阶段达81.22%，Speculative Prefill则只有57.10%，差距多达26个百分点 。在GPT-OSS-120B上，不压缩86.00%，LongAttnComp第一阶段82.99%，Speculative Prefill仅52.28%，差距超过30个百分点 。这意味着LongAttnComp这个用Llama模型训练出来的压缩器，可能跨家族地适配齐全分歧架构的大模型，而无需为每个指标模型单独沉新训练 。
在更宽泛的多文档推理测试场景LongBench v2上，情况更能体现两阶段训练的价值 。第一阶段模型的总体正确率只有41.7%，不仅低于不压缩的56.7%，甚至低于Speculative Prefill的46.3% 。但第二阶段训练后，subq版本的总体正确率回升到48.9%，nosubq版本达到49.7%，双双超过Speculative Prefill，与截断版全文（51.1%）的差距缩幼到1到2个百分点以内 。其中，subq版本在"长文档"分类下的提升尤为显眼，从41.7%跃升至53.7%，提升幅度达12个百分点 。
在合成检索测试集RULER上，LongAttnComp在"单针检索"工作（文档中藏着一条关键信息）上阐发险些美满：原始测试集中全文本正确率仅57.4%（注明AI的确会"迷失在中央"），LongAttnComp第一阶段模型则以极幼的压缩文本（均匀约2000词，远低于16000词的预算上限）达到了99.2%的正确率 。在必要同使匾到散布在多处的多条信息时，LongAttnComp也优于不压缩规划，只在信息极端分散的"多值"和"多查问"子工作上略有不及，与LongBench v2的法规一致 。
除了正确率，效能也是这套规划的沉要优势 。Speculative Prefill曾有汇报显示，将12.8万词的文档压缩至1.6万词，首个词的天生功夫（TTFT，time-to-first-token，类迸宗你点菜后等第一路菜上桌的功夫）从46秒降至2.5秒，足足快了18倍多 。
LongAttnComp的压缩器只用了Llama模型前13层（共32层），相当于用约40%的模型做评分工作 。由此推算，LongAttnComp的压缩开销约为Speculative Prefill的三分之一，而在正确率上还更胜一筹 � ；痪浠八�，这套规划不仅让大模型回覆得更准，还让整个系统跑得更快、破费更少 。
训练数据的局限是最凸起的问题 。无论是第一阶段还是第二阶段，训练数据都来自合成机关的"海底捞针"体式，把真实问答数据集的段落藏进随机填充的滋扰内容里 。真实世界的长文档往往比这复杂得多，证据之间的关联更曲折，推理链条更多跳，这正是LongBench v2依然留有差距的底子原因 。团队以为，引入更多天然采集的长文本训练数据是下一步的首要工作 。
超参数对工作的依赖性也是一个现实使用中的麻烦 �？榈拇笮 。ù氲魇杂�1024词/块，合成检索用256词/块，多文档推理用32词/块）、问题窗口大� 。�128到512词不等）、筛选模式（累计分数还是纯预算）都必要凭据工作类型调整 。在不知路工作类型的情况下，一套固定配置会让某些工作的阐发大打折扣 。钻研团队以为，设计一个能自动感知工作类型并调整参数的自适应机造，是值得深刻钻研的方向 。
此表，本钻研所有尝试都使用统一个压缩器骨干（Llama-3.1-8B-Instruct），更幼或更大的骨干模型是否同样合用，尚未测试 。所有指标模型也都通过SambaNova云端API挪用，没有直接的硬件效能丈量数据，真实的端到端速度提升只能凭据理论估算 。
说到底，LongAttnComp做的事件，和一位优良的阅读助理没有太大区别：在你开口问问题之前，先把那本厚厚的汇报急剧翻一遍，标出最值得你关注的段落，按原来的挨次整齐摆好，再递到你手边 。只不外，这位助理受过专门训练，速度极快，并且无论你问的是代码缝隙、汗青事务还是多文档综合分析，都能胜任 。
这项钻研对通常人的意思在于：随着AI工具越来越多地进入日常工作，处置速度和成本将直接影响使用履历 。LongAttnComp这类压缩技术，是让AI工具从"偶然用用"造成"随时可用"的关键一环 。当一个司法AI助理能在几秒钟内从一份两百页合同中找到关键条款，而不是花几十秒"慢慢读完" ；当一个代码审查AI能急剧定位一个十万行项目中的bug，而不是被无关代码覆没——这些都离不开高效靠得住的高低文压缩技术在背后支持 。
对这个领域感兴致的读者，能够持续思虑这样一个问题：压缩自身是否也会损失信息？钻研团队的数据批注，在某些工作上压缩反而提升了正确率，这注明"更少但更精准"有时辰胜过"更多但充斥噪音" 。这个发现对人类自己的阅读和进建方式，是否也有一些启发？想深刻相识齐全技术细节的读者，可通过arXiv:2606.01336查阅原论文 。
A：LongAttnComp不是写提要，而是"抽取式压缩"——它直接从原文中遴选最有关的段落，维持原始文字不变，按原来的挨次拼在一路 。提要是用新的说话沉新概括，可能会引入误差 ；LongAttnComp保留的是原文片段，指标大模型读到的是真实的原始内容，不存在提要带来的二次理解误差 。
A：原因在于超长文档中存在大量与问题无关的滋扰内容，大模型在处置时同样会被这些内容分散把稳力，导致对关键信息的关注度降落（钻研者称之为"迷失在中央"景象） 。LongAttnComp把无关内容过滤掉后，指标模型能更专一地处置真正有关的段落，反而做出更正确的判断 。
A：根基能够，这正是这项钻研的亮点之一 。训练时使用的是Llama-3.1-8B模型，但尝试证明，不经过任何针对性调整，统一个压缩器就能直接用于DeepSeek、MiniMax、GPT-OSS等齐全分歧家族的大模型，正确率损失很幼 。这意味着压缩器训练一次就能宽泛适配多种指标模型，大大降低了现实部署成本 。
免费行情.www百度全行搜索转会巴塞罗那对库库雷利亚个人而言也意义重大：这位后卫出生于加泰罗尼亚，14岁时加入巴萨青训营。他未能进入一线队，仅为一线队出场一次，随后两次被租借：2018/19赛季租借至埃瓦尔，2019/20赛季租借至赫塔菲，之后巴萨在2020年夏天以近1200万欧元的转会费将其永久出售给赫塔菲。一年后，他转会至英超布莱顿，2022年切尔西以当时创俱乐部纪录的6530万欧元将他带到伦敦。里克尔梅表示：“昨天晚上我们在另一家电台提到过，博斯克先生已经加入并支持我们的项目。我们也在推进其他一些事情，看看能不能在周日之前敲定。”免费行情.www百度全行搜索《〖容院3:特殊待遇》百度百科》谈到梅西时，巴蒂斯图塔给予高度评价：“我看到梅西充满动力、充满热情，这让我很有信心。我希望他能贡献全部的智慧。我认为这会是一届精彩的世界杯。”法国职业足球联盟董事会于本周三上午一致否决了法国职业足球治理改革法案。该法案已于2025年6月在参议院获得通过，俱乐部和相关机构已为此工作数月。而法国足协主席菲利普·迪亚洛正期待着“重振足球”。目前，该法案提交国民议会审议的日期尚未确定，文本仍需修改。
20260607 ? 免费行情.www百度全行搜索“我觉得这个机器人跳舞还挺丝滑，和我以前想象不一样。”吴宇飞说。他跳了13年机械舞，早年模仿的是“老旧机器人那种一卡一卡的感觉”，但宇树机器人的流畅度让他惊喜。“实际合作起来它很丝滑，像真人舞者一样。”从想法到落地，团队经历了漫长的打磨。《浮花浪蕊父女幼说大终局严蕊》值得注意的是，在记者尝试预约5000元特需号并绑定医保卡后，系统会自动弹出“只支持外地自费，自费病人挂号”页面，提示挂号失败。
20260607 ? 免费行情.www百度全行搜索宣璐：家人是固定又温暖的港湾。出差忙碌、四处奔波的时候，只要想到有固定的家、家人和小宠物在等我，回去就能吃到好吃的，小宠物也会热情欢迎我，心情就能缓解很多。《《初次尝鲜》短剧》事实上，没有人能够预知未来，我们要做的，就是以最好的方式备战，让每一名球员都有机会比赛和竞争。也许明天有些球员会踢更多时间，因为全队整体身体状态已经提升很多，体能恢复情况非常好，有些球员确实需要更多比赛时间，但我们的思路始终没变。
京公网安备11010202000001号
