这项由新加坡科学技术钻研局高机能推算钻研院结合上海工程技术大学发展的钻研，于2026年5月30日以预印本大局颁布，论文编号为arXiv:2606.00761，感兴致的读者可通过该编号查阅齐全论文。 现代AI大模型，尤其是那些用来回覆问题、写文章、助你处置各类工作的说话模型，内部结构远比人们设想的复杂。为了让这些模型既聪明又不至于耗尽所有推算资源，工程师们发了然一种叫做"专家混合"（Mixture-of-Experts，简称MoE）的架构。你能够把它理解成一个超大型公司，里面有几十甚至几百个专业部门——每当一个问题进来，公司前台（路由器）会判断这个问题该交给哪几个部门来处置，其他部门则持续休息，不参加本次工作。这样一来，整个公司的人数固然重大，但每次真正出动的员工却很少，效能大幅提升。 在这套架构里，每个专业部门（专家）处置问题的方式，很大水平上取决于一个叫做"SwiGLU"的激活机造。这个机造性质上是一个"开关"——它决定每条信息通路是被放大、被压造，还是被保留。然而持久以来，这个开关的"活络度"是固定的，无论工作轻沉、信息几多，它始终以统一个尺度运作。这篇论文的主题贡献，就是给这个开关加装了一个"调光旋钮"，让它能凭据当前工作简直定水平，自动调整自己的活络度。钻研团队将这个改进规划定名为κ-SwiGLU（读作"卡帕-SwiGLU"）。 首先是SwiGLU的工作道理。每当一个词或一段信息进入模型的某个专家时，这个专家内部会有很多并行的"信息通路"。SwiGLU的作用是对每条通路加一个"门控"——这个门控会凭据输入信号的大幼，决定这条通路的信号是被放大传出，还是被压造归零。具体来说，它用的是一种叫做SiLU的函数：当输入信号很强时，门会开得很大，信号险些全数通过；当输入信号靠近零时，门会险些关关；当输入信号为负时，门会齐全关关，信号被屏蔽掉。这个机造让模型可能选择性地激活对当前工作有效的特点，同时抑造无关信息。 而后是"路由确信度"的概想。在MoE架构中，前台（路由器）是通过推算每个问题向量与每个专家"特点向量"之间的类似水平来决定分配规划的——类似水平越高，注明这个专家越适合处置这个问题，分配给它的"确信度"也越高。这个类似水平对应一个具体的数值，称为路由逻辑值（router logit）。数值越大，注明路由器越确信这个问题该由这个专家处置。 这里有一个关键的物理意思：在高维空间里，被路由到统一个专家的所有问题，其向量方向都与该专家的特点向量方向有肯定的沉叠。沉叠越大，注明这个问题与该专家的"专业领域"越符合，也就是说路由器对这次分配越有把握。钻研人员在尝试中验证了这一点——在一个8层MoE模型的第7层，被路由到某个专家的所有问题向量与该专家特点向量的余弦类似度，不变在0.075到0.25之间，均值约为0.15。这个数字在512维空间里意思沉大，由于对于随机散布的单元向量来说，满足这一类似度前提的向量在整个空间中占比仅约0.03%——这注明被路由的问题并非随机落入，而是真的荟萃在专家特点方向左近。 钻研团队在深刻分析MoE的训练过程时，发现了一个此前从未被系统钻研过的景象——专家内部的门控投影方向，会在训练过程中自动向路由器的特点方向挨近，或者朝齐全相反的方向偏移。 用公司的迸作来说：前台（路由器）判断某个问题是否该交给某个部门，用的是一套打分尺度；而这个部门内部处置问题时的"筛选机造"（门控投影），在训练过程中会偷偷把自己的筛选尺度调整得和前台的打分尺度越来越类似，或者越来越相反。这种景象意味着什么？ 意味着当一个问题被高确信度地分配给某个专家时，这个问题的向量与路由器方向高度沉叠，而专家的门控投影向量也与路由器方向高度对齐（或反向对齐），因而门控信号的输入值会被系统性地放大（或压造）�；痪浠八�，路由器简直信度凹凸，会通过这种"隐性偏移"效应，自动影响专家内部的门控强弱——高确信度的问题会落在门控曲线的更活跃区域，低确信度的问题则可能落在更不活跃的区域。 钻研人员在7个独立训练的8层MoE模型上系统丈量了这种对齐景象。了局显示，在训练刚起头的几百步内，门控投影就迅速与路由器方向形成了0.2到0.4的余弦类似度峰值。只管这种对齐强度随着训练推动而有所衰减，但始终维持在非零水平。更有趣的是，分歧层的对齐方向会有所分歧——例如第4层在训练初期呈正向对齐，但后来转变为一致的负向对齐；而第7层则在大部门训练功夫内维持正向对齐。这批注路由器与门控之间的耦合是一衷煺遍存在的景象，但其具体阐发大局因层而异。 钻研人员还进一步量化了这种隐性偏移对门控输入的现实影响。通过度化门控投影向量的平行分量和垂直分量，能够推算出由路由器方向引起的系统性偏移量。在两个代表性层上，所有专家中排名前5%和后5%的偏移量，别离在整个训练过程中不变维持正值和负值，注明这种双向的、非对称的门控偏移是真实存在且持续产生的。 发现了这种隐性耦合之后，钻研团队提出了一个天然而然的设法：既然路由器简直信度已经在偷偷影响门控行为了，为什么不把这种影响做得更显式、更可控、更矫捷呢？ 尺度SiLU函数的状态是固定的，它的过渡区域宽度（即从"关关"到"开启"所必要的输入变动领域）是不变的。钻研人员给这个状态引入了一个节造参数κ——当κ大于1时，过渡区域变窄，门控变得越发"非此即彼"，像一个精准的开关，幼幅度的输入变动就能导致门控状态的剧烈切换；当κ幼于1时，过渡区域变宽，门控变得越发"滑润宽容"，能对更宽泛的输入领域做出响应。尺度SiLU对应的是κ=1的特殊情况。 κ-SwiGLU的主题思路，就是让每个专家的每个门控单元，凭据当前问题的路由确信度动态推算自己的κ值。具体公式为：κ值通过一个关于路由逻辑值的线性变换后再做有界映射来得到。线性变换蕴含两个可进建的标量参数：α（缩放系数）和b（偏置项）。线性变换的输出会经过一个`U^tanh(z)`的有界映射，其中U是一个超参数，设置为3——这意味着κ的取值领域被严格限度在(1/3, 3)之间，预防极端的κ值粉碎训练不变性。当α和b都为0时，κ=1，κ-SwiGLU退化为尺度SwiGLU，保障了向后兼容性。 值妥贴心的是，κ-SwiGLU对尺度SwiGLU的批改只产生在"门控"部门，而不影响信息通路部门。整个推算过程中，路由逻辑值在前向传布中本就是现成可用的，推算κ只必要几个元素级的运算，不涉及任何额表的矩阵乘法。 从直觉上理解，这个机造允许每个专家凭据"这个问题我有多确定"来调整自己处置信息的方式。当路由器极度确信这个问题适合这个专家时（高确信度），专家能够学会用更敏感的门控来精准筛选特点；当路由器只是勉强把问题分配给这个专家时（低确信度），专家能够学会用更宽容的门控来保留更多信息。当然，具体是哪种战术更好，是由训练数据决定的，分歧的专家能够学到分歧的战术。 首先是"冷启动"战术：α和b在训练的前1/10功夫内被冻结在0，此时κ-SwiGLU齐全等同于尺度SwiGLU，让模型先成立不变的路由行为和专家暗示，再引入动态门控。这就好比新员工入职先观察公司运作，摸清情况后振兴头提出改进建议，而不是第一天就大刀阔斧地扭转流程。 其次是L2正则化：对α和b施加惩治，预防它们无限增大，也就是预防门控偏离尺度SiLU太远。正则化系数别离设为λα=0.02和λb=0.01。经过调试，这组参数在抑造过拟合的同时，还保留了足够的进建矫捷性。 在进建率方面，κ-SwiGLU的专属进建率规划是线性预热到0.12，再线性衰减到0.06。与主模型参数的优化器分歧，α和b使用AdamW优化器单独治理，进建率0.3。 钻研团队在一个叫做FineWeb-Edu的教育内容数据集上训练了一系列MoE说话模型，覆盖了从8层到28层的多种配置，使用4块H200 GPU实现训练。为了在有限显存内尝试更多配置，团队选取了两种架构战术：尺度MoE（8到14层，其中6到10层为MoE层）和"眉山治"MoE（16到28层，但MoE层只有中央的2层，其余满是通常全衔接层）。 全数8种配置中，最幼的MoE-8L模型有约2700个参数（总量），但每次处置一个词只激活约269个参数，训练了27亿个词；最大的Sandwich-28L模型总参数约3300个，每次激活约849个，训练了142亿个词。每种配置都对尺度SwiGLU和κ-SwiGLU各训练3个独立运行（随机种子24、26、28），汇报均值和尺度差。 评估指标使用了一套叫做CORE的基准测试，蕴含22个涵盖学问推理、知识问答和说话建模等方向的数据集，汇总成一个"中心化CORE分数"——这个分数会减去随机猜测基线，因而能更正确地反映模型的真实能力增长。 了局相当清澈。在4种尺度MoE配置上，κ-SwiGLU的CORE分数均高于尺度SwiGLU：MoE-8L从13.5提升到14.5（提升1.0个百分点），MoE-10L从17.5提升到18.3（提升0.9），MoE-12L从20.1提升到20.8（提升0.7），MoE-14L从23.3提升到23.9（提升0.6）。浅层模型的改善幅度略大，钻研团队揣摩原因是浅层模型使用了更大的专家池（最多64个专家），MoE个性更凸起，因而动态门控的收益更显著；而深层尺度MoE为了节约显存被迫削减专家数量到16个，MoE的稀少性减弱。 在4种眉山治MoE配置上，除了最浅的Sandwich-16L略有降落（从14.3降到14.1，差距在误差领域内）之表，其余三种均有提升：Sandwich-20L从18.1提升到18.5（+0.5），Sandwich-24L从19.7提升到20.3（+0.6），Sandwich-28L从21.3提升到21.9（+0.6）。即便整个模型只有两个MoE层，动态门控的成效依然不变存在。 钻研团队出格指出，单看每个配置的改善幅度，与运行间的随机颠簸相比并不总是显著，但8个配置中7个一致向好，这种跨配置的一致性自身就是强有力的信号——改善不是偶发的噪声，而是步骤自身带来的系统性收益。 为了理解κ-SwiGLU改善的起源，钻研团队做了消融尝试，把κ参数分成两部门单独测试。第一种变体（κ-SwiGLU-α）去掉了与路由逻辑值有关的缩放项，只保留偏置项b；第二种变体（κ-SwiGLU-b）去掉了偏置项b，只保留缩放项α·s(x)；第三种是齐全的κ-SwiGLU。 在MoE-8L和MoE-10L上的了局极度清澈：去掉与路由确信度直接有关的缩放项α·s(x)，机能与尺度SwiGLU相差无几甚至略差（MoE-8L：13.4 vs 13.5基线）；而去掉偏置项b，机能依然靠近齐全版（MoE-8L：13.9 vs 14.5齐全版，MoE-10L：18.5 vs 18.3，在误差领域内根基吃旖）。这注明路由确信度驱动的动态缩放才是主题收益起源，而偏置项提供的是额表的矫捷性调节，没有前者沉要。 任何新步骤都有推算价值，κ-SwiGLU也不例表。钻研团队在最大的MoE-14L模型上进行了具体的开销丈量。了局是：额表引入的激活参数仅增长0.02%，能够齐全忽略不计。训练吞吐量（每秒处置词数）从153,200降至142,500，降落约7%；推理吞吐量从24,600降至23,729，降落约3.5%。这些开销齐全来自推算κ所需的少量额表元素级运算。钻研团队暗示，通过进一步的底层算子优化，这些开销还有望降至可忽略的水平。 钻研团队还深刻分析了κ值在训练过程中的动态变动，在12层MoE的第9层进行了具体追踪。了局出现出一个有趣的"先分化，再收敛"的模式。 在训练前1/10功夫内，κ被冻结在1，门控行为与尺度SwiGLU齐全一样。解冻之后，κ值迅速分化：排名前5%的门控单元的κ值急剧攀升到约2.5，而排名后5%的门控单元的κ值急剧下滑到约0.4。这意味着一部门门控变得极其敏感，另一部门则变得极其宽容。随着训练持续推动，两组κ值都缓慢向1挨近，但在训练实现时仍显著偏离1——约莫别离维持在1.2-1.5和0.6-0.8的领域。 这种"先大幅索求，再适度收敛"的模式，注明模型并没有走向极端，也没有退化为均匀的调整；而是在充分索求了门控弹性空间之后，学到了一个持续有效的适度调造战术。与此同时，对α和b参数的追踪显示，α的贡献弘远于b——在训练中期，以典型路由逻辑值2.5为例，α·s(x)项对最终κ的贡献约是b项的1.675倍，进一步验证了消融尝试的结论。 这项钻研自身也坦诚地指出了若干局限性。所有尝试都在相对幼规模的MoE模型上进行，最大的模型与当前前沿的贸易MoE系统（如GPT-4、DeepSeek等）相比仍有相当大的规模差距。在更大的参数量、更长的训练功夫和更大规模的预训练数据上，是否能观察到同样的改善趋向，尚待验证。 评估维度也相对集中，重要依赖CORE这套预训练基准。在指令追随、长文本处置、推理密集工作等更切近现实使用的场景下，动态门控的成效还必要进一步索求。此表，当前的κ参数化规划使用的是路由逻辑值的单一线性变换；是否存在更好的相信度信号起源、更相宜的变换大局、更优的初始化和正则化战术，都是值得后续钻研的方向。未来的工作也能够思考将这一思路推广到说话模型以表的其他MoE利用场景。 说到底，κ-SwiGLU做的事件，用一句话概括就是：让专家在接到自己最善于的工作时，把筛选尺度调得更严格、更精准；在接到稍显陌生的工作时，则放宽尺度、多保留一些可能有效的信息。这个机造的推算价值微乎其微，却在逾越多种模型架构和模型深度的尝试中，一次又一次地带来了不变的机能提升。 对于想要在现有MoE模型上进行低成本改进的钻研者和工程师来说，这个方向值切当真考量。而对于通常用户来说，这项钻研意味着未来的AI副手在处置它"更善于"的问题时，可能会给出更精准、更聚焦的回覆，而不是千篇一律地用同样的处置方式对待所有问题。 A：通常SwiGLU的门控活络度是固定的，无论什么问题进来都用统一套尺度筛选信息。κ-SwiGLU则凭据路由器对"当前问题交给这个专家处置"这件事简直信水平，动态调整门控的活络度——确信度高时门控更敏感，确信度低时门控更宽容。这两个参数每个专家独立进建，整体新增参数量不到原来的0.02%。 A：在MoE模型训练过程中，钻研人员发现专家内部的门控投影向量会自动向路由器的特点向量方向对齐或反向对齐。这导致路由确信度高的问题在专家内部会得到系统性的门控偏移，相当于路由器和专家之间存在一条暗藏的"信息通路"。这个景象之前从未被系统钻研过，正是这一发现引发了κ-SwiGLU的设计思路。 A：若是一路头就让κ参数自由变动，模型的路由行为和专家暗示还不不变，动态门控可能会引入混乱。钻研团队将α和b在训练前10%的步骤内冻结为0，此时κ=1，模型与尺度SwiGLU齐全一样，先让路由和专家暗示趋于不变。之后再解冻κ参数，让门控在不变的基础上逐步进建动态调整战术，从而保障训练不变性。