ÔÚ½« MoE ºÍ Lightning Attention£¨ÉÁµç°ÑÎÈÁ¦£©µÄ¼¤½ø¼Ü¹¹Ë¢ÐÂÒýÈë»ù´¡Ä£Ð͵ײ㣬ת»¯ÎªÈ«Ð嵀 MiniMax-01 ϵÁÐÄ£Ð굀 5 ¸öÔº󣬴óÄ£Ð͹«Ë¾ MiniMax ÖÕÓÚ¸ü½øÒ»²½£¬Åõ³öÁËÔÍÄðÐí¾ÃµÄ×ÔÑÐÎı¾ÍÆÀíÄ£ÐÍ MiniMax-M1£¬ÕâÒ²ÊÇÈ«ÇòÊ׸ö¿ªÔ´¡¢´ó¹æÄ£ÊµÏÖ»ìºÏ°ÑÎÈÁ¦µÄÍÆÀíÄ£ÐÍ¡£
ÍÆÀíÄ£ÐÍÒѳÉΪеĴóÄ£Ðͼ¼Êõº£³±£¬ÄóöÒ»¿îÇ¿¾¢µÄ×ÔÑÐÍÆÀíÄ£ÐÍ£¬Êǽü°ëÄêÀï¹úÄÚµÚÒ»±¤ÀݵĴóÄ£Ð͹«Ë¾Î¬³Ö×Ô¼º¼¼ÊõÉíλ×îÖ±½ÓµÄÖ¸±ê¡£
×÷ÎªÍÆÀíÄ£ÐÍ£¬MiniMax-M1ÔÚ³¤¸ßµÍÎÄÀí½âÄÜÁ¦ÉÏ£¬ÊÇĿǰÔ̺¬ËùÓйØÔ´ºÍ¿ªÔ´Ä£ÐÍÔÚÄÚ£¬ÄÜÁ¦È«Çòǰ¶þµÄÄ£ÐÍ£¬ÇÒÔÚѵÁ·ºÍÍÆÀí³É±¾Éϼ«¸ßµÄÐԼ۱ȡ£
M1 ÒÀȻһÁ¬×Å MoE ¼Ü¹¹£¬¶øÔÚ°ÑÎÈÁ¦»úÔìÉϺÍÇ¿»¯½ø½¨Ëã·¨ÉϵĴ´ÐÂÈà M1 ÏÊÃ÷µÄÇø±ðÓÚÆäËûÍÆÀíÄ£ÐÍ¡£Ä£ÐÍ×ܲÎÊý´ïµ½ 4560 ÒÚ²ÎÊý£¬ÔÉúÖ§³Ö 100 Íò token µÄ¸ßµÍÎij¤¶ÈÊäÈ룬ÒÔ¼°Ä¿Ç°ËùÓÐÄ£ÐÍÖÐ×µÄ 80k token µÄÊä³ö³¤¶È¡£
³ýÁËÔÚ³¤¸ßµÍÎÄÄÜÁ¦ÉϵÄÇ¿ÊÆ£¬M1 Ëùչʾ³öµÄÔÚÖÇÄÜÌ幤¾ßʹÓã¨Agentic Tool Use£©Î¬¶ÈÉϵÄÄÜÁ¦ÉÏÏÞÉõÖÁÔ½·¢ÈÃÈ˵ȴý¡£´ÓÆÀ²â»ù×¼ TAU-Bench (airline) ÖеIJû·¢À´¿´£¬Ä¿Ç° M1 ÒѾÊÇÊÐÃæÉÏÔÚ Agentic Tool Use ·½ÃæÄÜÁ¦×îÇ¿µÄÄ£ÐÍ¡£
¼¼Êõ»ã±¨ÖжÔÓÚ M1 µÄ¸ÅÊöÊÇ£¬Õâ¸öеĿªÔ´Ä£ÐÍÒÑÊÇÓë DeepSeek-R1¡¢Qwen3-235B ²¢ÁеÄÊÀ½ç¶¥¼â¿ªÔ´ÍÆÀíÄ£ÐÍ£¬ÕâÒ»½áÂÛÊÇÔڲμÓÁËÒµÄÚÖ÷Á÷µÄ 17 ¸öÆÀ²â»ù×¼Ö®ºóµÃ³öµÄ¡£ÔÚ´¦Öø´ÔÓ³¡¾°Ê±³¤¸ßµÍÎÄ¡¢ÖÇÄÜÌ幤¾ßʹÓÃÄÜÁ¦Éϵij¤°å×ã¹»ÁÁÑÛ£¬M1 ÔÚ¸üͨÓõÄÄ£ÐÍ»úÄÜÉÏÒ²ÒѾ¿çÈë¶¥¼âÐÐÁС£
´Ë±í±ØÒª×¨ÃÅ×¢Ã÷µÄÊÇ£¬M1 ϵÁÐÄ£ÐÍÖеÄÁ½¸öÄ£ÐÍÖУ¬MiniMax-M1-40K Ä£ÐÍÊÇ MiniMax-M1-80K Ä£ÐÍÔÚѵÁ·Ê±µÄÖÐÑë½×¶Î¡£¶øÔÚ²âÆÀ»ù×¼Ëù³öÏÖµÄ×ÜÌå²û·¢ÖУ¬MiniMax-M1-80k ÔÚÎÞÊý»ù×¼ÉϳÖÐøÓÅÓÚ MiniMax-M1-40k£¬ÕâÒ²ÑéÖ¤Á˸ߵÍÎÄ´°¿Ú³¤¶È´øÀ´ÁËÄ£ÐÍÕûÌå»úÄܵÄÏÔÖøÌáÉý£¬¶ø·Ç½ö½öÒâζ×ÅÖ§³Ö¸ü³¤µÄÊäÈë¡£
Ôڵײã¼Ü¹¹²ãÃæ£¬M1 ÊÇĿǰΨÖðÒ»¸öÓÃÏßÐÔ°ÑÎÈÁ¦»úÔ졸´ó¸Ä¡¹´«Í³ Transformer ¼Ü¹¹£¬´Ó¶ø´ó¹æÄ£ÊµÏÖ»ìºÏ°ÑÎÈÁ¦µÄ MoE ÍÆÀíÄ£ÐÍ£»ÔÚËã·¨²ãÃæ£¬M1 Ìá³öÁËеÄÇ¿»¯½ø½¨Ëã·¨ CISPO¡£¸ü³¹µ×µÄË«Ïß´´ÐÂÌá¸ßÁË M1 µÄѵÁ·Ð§ÄÜ£¬¶øÑµÁ·³É±¾µÄ½µÂäÒ²·Ç³£¿É¹Û¡£
Ϊ½â·Å Transformer ¼Ü¹¹ÖÐÖ÷ÌâÈ·°ÑÎÈÁ¦»úÔì Softmax Attention ÔÚÍÆËã×ÊÔ´¿÷Ëð·½ÃæµÄ¾ÖÏÞÐÔ£¬M1 ϵÁÐÄ£ÐÍÔÚ°ÑÎÈÁ¦»úÔìµÄ¼Ü¹¹Éè¼Æ·½ÃæÏà±È´«Í³¼Ü¹¹µÄÍÆÀí×öÁ˸ü¶·µ¨µÄ³¢ÊÔ¡ª¡ªÑ¡È¡»ìºÏ°ÑÎÈÁ¦»úÔì Lightning Attention¡ª¡ªÀ´°ü°ì³ß¶È Transformer ÖÐʹÓõĴ«Í³ Softmax Attention¡£
¹ÖÒìÈ·°ÑÎÈÁ¦²ãÉè¼ÆÈà M1 ÔÚÍÆÀíʱӵÓÐÏÔÖøÐ§ÄÜÓÅÊÆ£¬ÌìÈ»ÓÐÀûÓÚÇ¿»¯½ø½¨µÄ¸ßЧÀ©´ó£¬µ«×ßµ½»ìºÏ¼Ü¹¹´ó¹æÄ£Ç¿»¯½ø½¨µÄÎÞÈËÇø£¬MiniMax ÏÔȻҲ»áÓöµ½Ð¼ܹ¹´øÀ´µÄÌôÕ½¡£
ºÃ±ÈÔÚ»ìºÏ¼Ü¹¹µÄ³õ²½ÁãÇ¿»¯½ø½¨£¨zero-RL£©³¢ÊÔÖУ¬ÍŶӷ¢ÏÖ´«Í³µÄ PPO/GRPO Ëã·¨»áÐıíµÄÑϳÁÇÖº¦ÑµÁ·»úÄÜ¡£¾ßÌåÀ´Ëµ£¬Ó뷴˼ÐÐΪÓйصĹؼü token¡ª¡ªÀýÈ簵ʾתÕÛµÄ however¡¢wait¡ª¡ªÕâЩµÍ¸ÅÂÊ token ¶Ô²»±äìØºÍÍÆ½ø¿ÉÀ©´ó RL ÖÁ¹Ø³ÁÒª£¬µ«È´ÈÝÒ×ÔÚÕ½Êõ¸üÐÂʱ±»²Ã¼ô£¬ÄÑÒÔ±£ÕÏÕâЩ token µÄÌݶȹ±Ï×£¬µ¼ÖÂÄÑÒÔÍÆ½ø³¤ CoT ÍÆÀíÐÐΪ¡£´ËÎÊÌâÔÚ»ìºÏ¼Ü¹¹Ä£ÐÍÖÐÓÈΪ͹Æð£¬¹ÊÕÏÁËÇ¿»¯½ø½¨µÄ¹æÄ£À©´ó¡£
Ϊ´Ë£¬M1 ÔÚËã·¨²ãÃæÌá³öÁËеÄÇ¿»¯½ø½¨Ëã·¨ CISPO£¬ÒâÔÚÃ÷È·Ô¤·ÀÅׯúÈκΠtoken£¨¼´±ã¸üзù¶È´ó£©£¬Í¬Ê±½«ìØÎ¬³ÖÔÚºÏÀíÁìÓòÒÔÈ·±£²»±äË÷Çó¡£
ÔÚ zero-RL ÉèÖÃÏ£¬MiniMax ÍŶÓÔÚÊýÑ§ÍÆÀíÊý¾Ý¼¯ÉÏѵÁ· Qwen2.5-32B-base£¬¶Ô±È CISPO¡¢ ×Ö½ÚÌø¶¯Ìá³öµÄ DAPO ÒÔ¼° DeepSeek Ìá³öµÄ GRPO Ëã·¨ÔÚ AIME 2024 ÉϵIJû·¢¡£Ò»Ñù²½ÊýÏ CISPO ÏÔÖøÓÅÓÚ DAPO ºÍ GRPO£»ÆäѵÁ·Ð§Äܸü¸ß£¬½öÐè DAPO 50% µÄ²½Êý¼´¿É´ïµ½Ò»Ö»úÄÜ¡£
µ×²ã¼Ü¹¹É϶ÔÓÚÏßÐÔ°ÑÎÈÁ¦»úÔìµÄÒýÈ룬ÒÔ¼°Ëã·¨²ãÝÓÈÆ CISPO ËùÐγɵĸßЧ RL ¿ò¼Ü£¬×îÖÕÈà M1 µÄÇ¿»¯½ø½¨ÑµÁ·±äµÃ¼«¶È¸ßЧ£¬½ø¶ø»ñµÃÁËѵÁ·³É±¾µÄ´ó·ù½µÂä¡£
ÓëÄ£ÐÍÒ»Æð°ä²¼µÄ¼¼Êõ»ã±¨ÖÐÏÔʾ£¬ÔÚÌìÉú³¤¶ÈΪ 10 Íò Token ʱ£¬M1 µÄÍÆËãÁ¿½öΪ Deepseek R1 µÄ 25%£¬¶øÕû¸ö M1 µÄÆëȫǿ»¯½ø½¨ÑµÁ·ÄÜÔÚ 512 ÕÅ H800 GPU ÉϽöÓà 3 ÖÜʵÏÖ£¬ÒÔĿǰµÄ GPU ×âÁÞ¼ÛÖµÍÆË㣬³É±¾½öΪ 53.47 ÍòÃÀÔª¡£
Prompt ÊÇÕâÑùµÄ£º ´´½¨Ò»¸öÃÔ¹¬ÌìÉúÆ÷ºÍѰ·¿ÉÊÓ»¯¹¤¾ß¡£Ëæ»úÌìÉúÒ»¸öÃÔ¹¬£¬²¢Ö𲽿ÉÊÓ»¯ A* Ëã·¨µÄÇó½â¹ý³Ì¡£Ê¹Óû²¼ºÍ¶¯»£¬Ê¹ÆäÓµÓÐÊÓ¾õÎüÒýÁ¦¡£
demo ÀïÄܹ»Ç峺¿´µ½£¬M1 ÔÚÌìÉúµÄÍøÒ³ÖÐ˼·Ç峺µÄÉèÖÃÁË´ú±í´ò×ÖËÙ¶ÈµÄ WPM£¨words per minute£©ºÍÕýÈ·¶ÈµÄ Accuracy Á½¸öÖ¸±ê£¬²¢ÇÒ¹ØÐĵÄÈÃÉÏ·½ÎÄ×ÖËæ×ÅÄãµÄÊäÈë¹ý³Ì¶øÍ¬²½±äÉ«¡£
ÕâЩ demo ¶¼ÔÚÖ¸ÏòһЩͨÓà agent ÖвúÆ·»¯ feature µÄ¿ÉÄÜÐÔ¡£³¤¸ßµÍÎÄÀí½â¡¢ÖÇÄÜÌåÕâЩÔÚÄ£ÐÍÄÜÁ¦²úÆ·»¯¹ý³ÌÖеÄÖ÷ÌâÄÜÁ¦£¬¸ÕºÃÊÇ M1 Ä£Ð͵ÄÇ¿ÊÆµØµã¡£ÕâÇÐºÏ MiniMax ×îÔçÒÔ²úÆ·ÆðÊÆµÄ·Ïߣ¬¶øÕâ¼Ò¹«Ë¾×î½üÔÚ»ù´¡Ä£ÐͲãÃæ³ÖÐøµÄ¼¤½øË÷Çó£¬Ò²ÒÔ M1 µÄ³öÏÖΪ½Úµã£¬ÔÚµ±Ï´óÄ£Ð͹«Ë¾ÃǼ¼ÊõÍ»ÆÆÆÕ±é½µËÙµÄʱ³½ÏÔʾ³öºó¾¢¡£
M1 µÄ³öÏÖ£¬±³ºóÊÇÒ»Ìõ MiniMax ´Ó´«Í³µÄŨÃÜÄ£ÐÍÓë Transformer ¼Ü¹¹£¬×ªÏò MoE ÓëÏßÐÔ°ÑÎÈÁ¦»úÔìµÄ²ÝÉß»ÒÏß¡£ÔÚ MiniMax ¾ö¶¨ÒýÈë MoE ÓëÏßÐÔ°ÑÎÈÁ¦»úÔìµÄʱ³½£¬ÔÚÆäʱÏÕЩ¶¼Ã»ÓÐʲôÄܹ»²Î¿¼µÄ¶ÔÏó¡£
Mistral AI ÔÚ 2023 Äêµ×ÓÿªÔ´µÄÄ£ÐÍ Mistral 8??7B սʤÁËÆäʱ×îÓÅÁ¼µÄ¿ªÔ´Ä£ÐÍÖ®Ò»£¬700 ÒÚ²ÎÊýµÄ Llama 2¡£2023 ÄêÏÄÌ죬MiniMax ÒѾÔڳﱸ´ÓŨÃÜÄ£ÐÍתÏò MoE£¬Í¶ÈëÁËÆäʱ¹«Ë¾ 80% µÄËãÁ¦ÓëÑз¢×ÊÔ´£¬ÔÚ Mistral 8??7B °ä²¼µÄÒ»¸öÔºó£¬ÉÏÏßÁ˹úÄÚÊ׸ö MoE ´óÄ£ÐÍ abab 6£¬²¢ÇÒÓÉÓÚÕâÊǸö¹ýÓÚеļܹ¹£¬MiniMax Ϊ MoE ×ÔÑиüÊÊÅäµÄѵÁ·ºÍÍÆÀí¿ò¼Ü¡£
MiniMax ÆðͷͶÈë Linear Attention ÊÇ´Ó 2024 Äê 4 ÔÂÆðÍ·µÄ£¬ÄÇʱÉÐûÓÐÄ£ÐÍÔÚǧÒÚ¼¶´ËÍâ²ÎÊý¹æÄ£²ãÃæÌôÕ½´«Í³µÄ Transformer ¼Ü¹¹¡£ÕâʹµÃ MiniMax ±ØÒª¶ÔÉ¢²¼Ê½ÑµÁ·ºÍÍÆÀí¿ò¼Ü½øÐг¹µ×µÄ³ÁÐÂÉè¼ÆÀ´ÊÊÅ䣬ʹµÃÄ£ÐÍ¿ÉÄÜÔÚ´ó¹æÄ£ GPU ¼¯ÈºÉϸßЧÔËÐУ¬Õâ²ÅÓÐÁ˽ñÄê 1 Ô嵀 MiniMax-Text-01£¬ÕâÒ²ÊǵÚÒ»¸öÒÀÀµÏßÐÔ°ÑÎÈÁ¦»úÔì´ó¹æÄ£²¿ÊðµÄÄ£ÐÍ¡£
Äܹ»Ëµ£¬MiniMax-Text-01 ÊÇ MiniMax ÔÚÏßÐÔ°ÑÎÈÁ¦Õâ¼þÊÂÉÏ£¬ÎªÕû¸öÐÐÒµ´ÓÓ×¹æÄ£¿ÉÐеĹ²Ê¶£¬µ½ Scale up µÄ¿ÉÐÐ×öÁËÒ»´ÎÑéÖ¤¡£¶øÍÆÀíÄ£ÐÍ M1£¬ÐÔÖÊÉÏÓÖÊÇÒ»´Î»ùÓÚ MiniMax-Text-01 µÄ scale up ºÍ¼Ü¹¹´´Ð¡£
ÍŶÓÒÔ MiniMax-Text-01 Ϊ»ù×ù£¬Ö´ÐÐ 7.5 ÍòÒÚ token µÄ¶¨Ïò¼ÓǿԤѵÁ·£¬½« STEM£¨¿ÆÑ§/¼¼Êõ/¹¤³Ì/Êýѧ£©¡¢±à³Ì´úÂëÓ븴ÔÓÍÆÀíÈýÀàÖ÷ÌâÁìÓòµÄÊý¾ÝȨ³ÁÌáÉýÖÁ×ÜÓïÁÏ 70%¡£Ëæºóͨ¹ý¼à¶½Î¢µ÷½×¶Î×¢ÈëÁ´Ê½Ë¼ÂÇ£¨CoT£©»úÔ죬ϵͳÐÔ¹¹½¨Ä£Ð͵ķֲ½ÍÆÀíÄÜÁ¦£¬ÎªÇ¿»¯½ø½¨µì¶¨ÄÜÁ¦»ù´¡¡£
×îÖÕÕâÖÖ¼¤½øÊ½µÄ´´Ðµõ½ÁË»ý¼«µÄÑéÖ¤£¬M1 ÊÇĿǰȫÇò×îÏȵ½´ï 80k ¸ßµÍÎÄÊä³öµÄÍÆÀíÄ£ÐÍ£¬Í¬Ê±ÔÚ³¤¸ßµÍÎÄ£¬Èí¼þ¹¤³ÌºÍ Agent ¹¤¾ßʹÓ÷½ÃæÌåÏÖ³öÁËÓÅÊÆ¡£
´ËǰÐÇÒ°ºÍ Talkie ÔÚóÒ×»¯ÉϵÄÓÅÒì²û·¢£¬Èà MiniMax ÔçÔç³ÉΪһ¼ÒÄܹ»×Ô¼º¶ÀÁ¢ÐÐ×ߵĴóÄ£Ð͹«Ë¾£¬Ò²Èñí½ç¸³ÓèÁËÕâ¼Ò¹«Ë¾Ò»¸ö¡¸²úÆ·Çý¶¯¡¹ÕâÑù¹ýÓÚ³éÏóµÄ±êÇ©¡£Õâ¿Ï¶¨Ë®Æ½ÉϺöÊÓÁË MiniMax ÔÚÄ£ÐͲãÃæÉÏÏ൱ǿº·µÄÑз¢ÄÜÁ¦¡£
ÖµÍ×ÌùÐĵÄÊÇ£¬MiniMax µÄ¹Ù·½²¼¸æÐ¹Â©£¬M1 ϵÁÐÄ£ÐÍͬʱҲÀ¿ªÁËΪÆÚÎåÌìµÄ MiniMaxWeek µÄÐòÄ»£¬Î´À´ÎåÌ죬MiniMax »áÝÓÈÆÎı¾¡¢ÓïÒôºÍÊÓ¾õµÈ¶àģ̬ģÐͶԱí°ä²¼¸ü¶àµÄ¼¼Êõ½øÕ¹¡£
Óë´Ëǰ MoE µÄ Abab 6 Ä£Ð͸ճöÏÖʱÀàËÆ£¬Õâ´Î°ä²¼µÄ»ìºÏ°ÑÎÈÁ¦»úÔìµÄ M1 Ôڵײã¼Ü¹¹²ãÃæÒÀÈ»ÊÇÒ»¸ö¡¸·Ç¹²Ê¶¡¹µÄÍÆÀíÄ£ÐÍ£¬µ«Ò²ÕýÊÇÓÉÓÚÕâЩÂÅ´Î̽ÈëÄ£Ð͵ײã¼Ü¹¹¡¸·Ç¹²Ê¶¡¹µØ´øËù´øÀ´µÄ¼¼Êõ´´Ð£¬Ò»ÏòÔÚÓ¡Ö¤ MiniMax ÖÕÓÚÊÇÒ»¼Ò¡¸Ä£ÐÍÇý¶¯¡¹µÄ AI ¹«Ë¾¡£
《法国空乘2021法版》2025年9月纽约举行联盟董事会后,萧华公开表态:举证处罚的责任在联盟方,调查组会全盘核查所有证据;秉持公平原则,若仅有违规的表面嫌疑、没有实质证据,他不会轻易开出罚单。目前,犯罪嫌疑人王某因涉嫌盗窃罪已被检察机关依法批准逮捕。被盗名牌包将依法发还陈小姐,王某已对手机赃款作出全部退赔。《法国空乘2021法版》ÌìÃÀÐǿմóÏóMVÅÔ¹ÛÃâ·Ñ°Ù¶È与传统充电器的单色指示灯相比,ingBar 提供了更明确的状态反馈。用户可以直接看到当前功率变化,也可以通过 AI Agent 调整屏幕亮度,例如在夜间关闭显示,或在桌面工作时提高亮度。第三个变化,美方在今年香会上对台湾问题“收声”。这也是最直观的变化。美国国防部长赫格塞思5月30日在今年香格里拉对话会上的正式演讲中,一次都没有提到台湾;而去年,他在同一场合提了5次。尤其要看到,这是5月中旬中美元首会晤后,美国防长首次公开系统表态,几乎处处都在体现和维护特朗普审慎处理台湾问题的总体意图。更值得注意的是,他不仅未提台湾,还明显降低了对华批评烈度。诚如中国前驻美大使崔天凯所言,有理不在声高。中美之间有分歧,更需要冷静沟通,而不是持续高声对撞。
20260607 ? 《法国空乘2021法版》文中设想了3种可能的未来场景,包括AI“递归式自我改进”及其可能的问题。Anthropic提出,让整个世界可以减缓甚至暂停前沿 AI 开发,从而让社会结构和对齐研究能跟上技术前进的步伐,对世界是有益的。(Anthropic)¡¶Â³°¡Â³¡·现年29岁的登贝莱是巴黎圣日耳曼上赛季表现最突出的球员之一。他在各项赛事中出场40次,打进20球,并送出11次助攻。登贝莱的特点是能够胜任多个进攻位置。他既可以踢右边锋,也可以踢左边锋,同时还能够担任第二前锋。
20260607 ? 《法国空乘2021法版》谈到自己能在世界杯上做些什么时,小孔塞桑表示:“我们当然有很大的目标,但还是要一场一场来。我们知道自己具备实力,但必须把这些能力体现在球队整体上。如果连小组三场比赛都踢不好,现在去想决赛也没有意义。”¡¼ûâ·ÑÐÐÇé.WWW°Ù¶ÈÈ«ÐÐËÑË÷¡·我觉得对于武磊来说,国家队100场对他来说是个人的一个成就,这是他应得的。他作为中国国家队的一员,为国家队进了很多球。他代表了球队踢了100场比赛,也做出了非常大的贡献。