ÔÚ½« MoE ºÍ Lightning Attention£¨ÉÁµç°ÑÎÈÁ¦£©µÄ¼¤½ø¼Ü¹¹Ë¢ÐÂÒýÈë»ù´¡Ä£Ð͵ײ㣬ת»¯ÎªÈ«Ð嵀 MiniMax-01 ϵÁÐÄ£Ð굀 5 ¸öÔº󣬴óÄ£Ð͹«Ë¾ MiniMax ÖÕÓÚ¸ü½øÒ»²½£¬Åõ³öÁËÔÍÄðÐí¾ÃµÄ×ÔÑÐÎı¾ÍÆÀíÄ£ÐÍ MiniMax-M1£¬ÕâÒ²ÊÇÈ«ÇòÊ׸ö¿ªÔ´¡¢´ó¹æÄ£ÊµÏÖ»ìºÏ°ÑÎÈÁ¦µÄÍÆÀíÄ£ÐÍ¡£
ÍÆÀíÄ£ÐÍÒѳÉΪеĴóÄ£Ðͼ¼Êõº£³±£¬ÄóöÒ»¿îÇ¿¾¢µÄ×ÔÑÐÍÆÀíÄ£ÐÍ£¬Êǽü°ëÄêÀï¹úÄÚµÚÒ»±¤ÀݵĴóÄ£Ð͹«Ë¾Î¬³Ö×Ô¼º¼¼ÊõÉíλ×îÖ±½ÓµÄÖ¸±ê¡£
×÷ÎªÍÆÀíÄ£ÐÍ£¬MiniMax-M1ÔÚ³¤¸ßµÍÎÄÀí½âÄÜÁ¦ÉÏ£¬ÊÇĿǰÔ̺¬ËùÓйØÔ´ºÍ¿ªÔ´Ä£ÐÍÔÚÄÚ£¬ÄÜÁ¦È«Çòǰ¶þµÄÄ£ÐÍ£¬ÇÒÔÚѵÁ·ºÍÍÆÀí³É±¾Éϼ«¸ßµÄÐԼ۱ȡ£
M1 ÒÀȻһÁ¬×Å MoE ¼Ü¹¹£¬¶øÔÚ°ÑÎÈÁ¦»úÔìÉϺÍÇ¿»¯½ø½¨Ëã·¨ÉϵĴ´ÐÂÈà M1 ÏÊÃ÷µÄÇø±ðÓÚÆäËûÍÆÀíÄ£ÐÍ¡£Ä£ÐÍ×ܲÎÊý´ïµ½ 4560 ÒÚ²ÎÊý£¬ÔÉúÖ§³Ö 100 Íò token µÄ¸ßµÍÎij¤¶ÈÊäÈ룬ÒÔ¼°Ä¿Ç°ËùÓÐÄ£ÐÍÖÐ×µÄ 80k token µÄÊä³ö³¤¶È¡£
³ýÁËÔÚ³¤¸ßµÍÎÄÄÜÁ¦ÉϵÄÇ¿ÊÆ£¬M1 Ëùչʾ³öµÄÔÚÖÇÄÜÌ幤¾ßʹÓã¨Agentic Tool Use£©Î¬¶ÈÉϵÄÄÜÁ¦ÉÏÏÞÉõÖÁÔ½·¢ÈÃÈ˵ȴý¡£´ÓÆÀ²â»ù×¼ TAU-Bench (airline) ÖеIJû·¢À´¿´£¬Ä¿Ç° M1 ÒѾÊÇÊÐÃæÉÏÔÚ Agentic Tool Use ·½ÃæÄÜÁ¦×îÇ¿µÄÄ£ÐÍ¡£
¼¼Êõ»ã±¨ÖжÔÓÚ M1 µÄ¸ÅÊöÊÇ£¬Õâ¸öеĿªÔ´Ä£ÐÍÒÑÊÇÓë DeepSeek-R1¡¢Qwen3-235B ²¢ÁеÄÊÀ½ç¶¥¼â¿ªÔ´ÍÆÀíÄ£ÐÍ£¬ÕâÒ»½áÂÛÊÇÔڲμÓÁËÒµÄÚÖ÷Á÷µÄ 17 ¸öÆÀ²â»ù×¼Ö®ºóµÃ³öµÄ¡£ÔÚ´¦Öø´ÔÓ³¡¾°Ê±³¤¸ßµÍÎÄ¡¢ÖÇÄÜÌ幤¾ßʹÓÃÄÜÁ¦Éϵij¤°å×ã¹»ÁÁÑÛ£¬M1 ÔÚ¸üͨÓõÄÄ£ÐÍ»úÄÜÉÏÒ²ÒѾ¿çÈë¶¥¼âÐÐÁС£
´Ë±í±ØÒª×¨ÃÅ×¢Ã÷µÄÊÇ£¬M1 ϵÁÐÄ£ÐÍÖеÄÁ½¸öÄ£ÐÍÖУ¬MiniMax-M1-40K Ä£ÐÍÊÇ MiniMax-M1-80K Ä£ÐÍÔÚѵÁ·Ê±µÄÖÐÑë½×¶Î¡£¶øÔÚ²âÆÀ»ù×¼Ëù³öÏÖµÄ×ÜÌå²û·¢ÖУ¬MiniMax-M1-80k ÔÚÎÞÊý»ù×¼ÉϳÖÐøÓÅÓÚ MiniMax-M1-40k£¬ÕâÒ²ÑéÖ¤Á˸ߵÍÎÄ´°¿Ú³¤¶È´øÀ´ÁËÄ£ÐÍÕûÌå»úÄܵÄÏÔÖøÌáÉý£¬¶ø·Ç½ö½öÒâζ×ÅÖ§³Ö¸ü³¤µÄÊäÈë¡£
Ôڵײã¼Ü¹¹²ãÃæ£¬M1 ÊÇĿǰΨÖðÒ»¸öÓÃÏßÐÔ°ÑÎÈÁ¦»úÔ졸´ó¸Ä¡¹´«Í³ Transformer ¼Ü¹¹£¬´Ó¶ø´ó¹æÄ£ÊµÏÖ»ìºÏ°ÑÎÈÁ¦µÄ MoE ÍÆÀíÄ£ÐÍ£»ÔÚËã·¨²ãÃæ£¬M1 Ìá³öÁËеÄÇ¿»¯½ø½¨Ëã·¨ CISPO¡£¸ü³¹µ×µÄË«Ïß´´ÐÂÌá¸ßÁË M1 µÄѵÁ·Ð§ÄÜ£¬¶øÑµÁ·³É±¾µÄ½µÂäÒ²·Ç³£¿É¹Û¡£
Ϊ½â·Å Transformer ¼Ü¹¹ÖÐÖ÷ÌâÈ·°ÑÎÈÁ¦»úÔì Softmax Attention ÔÚÍÆËã×ÊÔ´¿÷Ëð·½ÃæµÄ¾ÖÏÞÐÔ£¬M1 ϵÁÐÄ£ÐÍÔÚ°ÑÎÈÁ¦»úÔìµÄ¼Ü¹¹Éè¼Æ·½ÃæÏà±È´«Í³¼Ü¹¹µÄÍÆÀí×öÁ˸ü¶·µ¨µÄ³¢ÊÔ¡ª¡ªÑ¡È¡»ìºÏ°ÑÎÈÁ¦»úÔì Lightning Attention¡ª¡ªÀ´°ü°ì³ß¶È Transformer ÖÐʹÓõĴ«Í³ Softmax Attention¡£
¹ÖÒìÈ·°ÑÎÈÁ¦²ãÉè¼ÆÈà M1 ÔÚÍÆÀíʱӵÓÐÏÔÖøÐ§ÄÜÓÅÊÆ£¬ÌìÈ»ÓÐÀûÓÚÇ¿»¯½ø½¨µÄ¸ßЧÀ©´ó£¬µ«×ßµ½»ìºÏ¼Ü¹¹´ó¹æÄ£Ç¿»¯½ø½¨µÄÎÞÈËÇø£¬MiniMax ÏÔȻҲ»áÓöµ½Ð¼ܹ¹´øÀ´µÄÌôÕ½¡£
ºÃ±ÈÔÚ»ìºÏ¼Ü¹¹µÄ³õ²½ÁãÇ¿»¯½ø½¨£¨zero-RL£©³¢ÊÔÖУ¬ÍŶӷ¢ÏÖ´«Í³µÄ PPO/GRPO Ëã·¨»áÐıíµÄÑϳÁÇÖº¦ÑµÁ·»úÄÜ¡£¾ßÌåÀ´Ëµ£¬Ó뷴˼ÐÐΪÓйصĹؼü token¡ª¡ªÀýÈ簵ʾתÕÛµÄ however¡¢wait¡ª¡ªÕâЩµÍ¸ÅÂÊ token ¶Ô²»±äìØºÍÍÆ½ø¿ÉÀ©´ó RL ÖÁ¹Ø³ÁÒª£¬µ«È´ÈÝÒ×ÔÚÕ½Êõ¸üÐÂʱ±»²Ã¼ô£¬ÄÑÒÔ±£ÕÏÕâЩ token µÄÌݶȹ±Ï×£¬µ¼ÖÂÄÑÒÔÍÆ½ø³¤ CoT ÍÆÀíÐÐΪ¡£´ËÎÊÌâÔÚ»ìºÏ¼Ü¹¹Ä£ÐÍÖÐÓÈΪ͹Æð£¬¹ÊÕÏÁËÇ¿»¯½ø½¨µÄ¹æÄ£À©´ó¡£
Ϊ´Ë£¬M1 ÔÚËã·¨²ãÃæÌá³öÁËеÄÇ¿»¯½ø½¨Ëã·¨ CISPO£¬ÒâÔÚÃ÷È·Ô¤·ÀÅׯúÈκΠtoken£¨¼´±ã¸üзù¶È´ó£©£¬Í¬Ê±½«ìØÎ¬³ÖÔÚºÏÀíÁìÓòÒÔÈ·±£²»±äË÷Çó¡£
ÔÚ zero-RL ÉèÖÃÏ£¬MiniMax ÍŶÓÔÚÊýÑ§ÍÆÀíÊý¾Ý¼¯ÉÏѵÁ· Qwen2.5-32B-base£¬¶Ô±È CISPO¡¢ ×Ö½ÚÌø¶¯Ìá³öµÄ DAPO ÒÔ¼° DeepSeek Ìá³öµÄ GRPO Ëã·¨ÔÚ AIME 2024 ÉϵIJû·¢¡£Ò»Ñù²½ÊýÏ CISPO ÏÔÖøÓÅÓÚ DAPO ºÍ GRPO£»ÆäѵÁ·Ð§Äܸü¸ß£¬½öÐè DAPO 50% µÄ²½Êý¼´¿É´ïµ½Ò»Ö»úÄÜ¡£
µ×²ã¼Ü¹¹É϶ÔÓÚÏßÐÔ°ÑÎÈÁ¦»úÔìµÄÒýÈ룬ÒÔ¼°Ëã·¨²ãÝÓÈÆ CISPO ËùÐγɵĸßЧ RL ¿ò¼Ü£¬×îÖÕÈà M1 µÄÇ¿»¯½ø½¨ÑµÁ·±äµÃ¼«¶È¸ßЧ£¬½ø¶ø»ñµÃÁËѵÁ·³É±¾µÄ´ó·ù½µÂä¡£
ÓëÄ£ÐÍÒ»Æð°ä²¼µÄ¼¼Êõ»ã±¨ÖÐÏÔʾ£¬ÔÚÌìÉú³¤¶ÈΪ 10 Íò Token ʱ£¬M1 µÄÍÆËãÁ¿½öΪ Deepseek R1 µÄ 25%£¬¶øÕû¸ö M1 µÄÆëȫǿ»¯½ø½¨ÑµÁ·ÄÜÔÚ 512 ÕÅ H800 GPU ÉϽöÓà 3 ÖÜʵÏÖ£¬ÒÔĿǰµÄ GPU ×âÁÞ¼ÛÖµÍÆË㣬³É±¾½öΪ 53.47 ÍòÃÀÔª¡£
Prompt ÊÇÕâÑùµÄ£º ´´½¨Ò»¸öÃÔ¹¬ÌìÉúÆ÷ºÍѰ·¿ÉÊÓ»¯¹¤¾ß¡£Ëæ»úÌìÉúÒ»¸öÃÔ¹¬£¬²¢Ö𲽿ÉÊÓ»¯ A* Ëã·¨µÄÇó½â¹ý³Ì¡£Ê¹Óû²¼ºÍ¶¯»£¬Ê¹ÆäÓµÓÐÊÓ¾õÎüÒýÁ¦¡£
demo ÀïÄܹ»Ç峺¿´µ½£¬M1 ÔÚÌìÉúµÄÍøÒ³ÖÐ˼·Ç峺µÄÉèÖÃÁË´ú±í´ò×ÖËÙ¶ÈµÄ WPM£¨words per minute£©ºÍÕýÈ·¶ÈµÄ Accuracy Á½¸öÖ¸±ê£¬²¢ÇÒ¹ØÐĵÄÈÃÉÏ·½ÎÄ×ÖËæ×ÅÄãµÄÊäÈë¹ý³Ì¶øÍ¬²½±äÉ«¡£
ÕâЩ demo ¶¼ÔÚÖ¸ÏòһЩͨÓà agent ÖвúÆ·»¯ feature µÄ¿ÉÄÜÐÔ¡£³¤¸ßµÍÎÄÀí½â¡¢ÖÇÄÜÌåÕâЩÔÚÄ£ÐÍÄÜÁ¦²úÆ·»¯¹ý³ÌÖеÄÖ÷ÌâÄÜÁ¦£¬¸ÕºÃÊÇ M1 Ä£Ð͵ÄÇ¿ÊÆµØµã¡£ÕâÇÐºÏ MiniMax ×îÔçÒÔ²úÆ·ÆðÊÆµÄ·Ïߣ¬¶øÕâ¼Ò¹«Ë¾×î½üÔÚ»ù´¡Ä£ÐͲãÃæ³ÖÐøµÄ¼¤½øË÷Çó£¬Ò²ÒÔ M1 µÄ³öÏÖΪ½Úµã£¬ÔÚµ±Ï´óÄ£Ð͹«Ë¾ÃǼ¼ÊõÍ»ÆÆÆÕ±é½µËÙµÄʱ³½ÏÔʾ³öºó¾¢¡£
M1 µÄ³öÏÖ£¬±³ºóÊÇÒ»Ìõ MiniMax ´Ó´«Í³µÄŨÃÜÄ£ÐÍÓë Transformer ¼Ü¹¹£¬×ªÏò MoE ÓëÏßÐÔ°ÑÎÈÁ¦»úÔìµÄ²ÝÉß»ÒÏß¡£ÔÚ MiniMax ¾ö¶¨ÒýÈë MoE ÓëÏßÐÔ°ÑÎÈÁ¦»úÔìµÄʱ³½£¬ÔÚÆäʱÏÕЩ¶¼Ã»ÓÐʲôÄܹ»²Î¿¼µÄ¶ÔÏó¡£
Mistral AI ÔÚ 2023 Äêµ×ÓÿªÔ´µÄÄ£ÐÍ Mistral 8??7B սʤÁËÆäʱ×îÓÅÁ¼µÄ¿ªÔ´Ä£ÐÍÖ®Ò»£¬700 ÒÚ²ÎÊýµÄ Llama 2¡£2023 ÄêÏÄÌ죬MiniMax ÒѾÔڳﱸ´ÓŨÃÜÄ£ÐÍתÏò MoE£¬Í¶ÈëÁËÆäʱ¹«Ë¾ 80% µÄËãÁ¦ÓëÑз¢×ÊÔ´£¬ÔÚ Mistral 8??7B °ä²¼µÄÒ»¸öÔºó£¬ÉÏÏßÁ˹úÄÚÊ׸ö MoE ´óÄ£ÐÍ abab 6£¬²¢ÇÒÓÉÓÚÕâÊǸö¹ýÓÚеļܹ¹£¬MiniMax Ϊ MoE ×ÔÑиüÊÊÅäµÄѵÁ·ºÍÍÆÀí¿ò¼Ü¡£
MiniMax ÆðͷͶÈë Linear Attention ÊÇ´Ó 2024 Äê 4 ÔÂÆðÍ·µÄ£¬ÄÇʱÉÐûÓÐÄ£ÐÍÔÚǧÒÚ¼¶´ËÍâ²ÎÊý¹æÄ£²ãÃæÌôÕ½´«Í³µÄ Transformer ¼Ü¹¹¡£ÕâʹµÃ MiniMax ±ØÒª¶ÔÉ¢²¼Ê½ÑµÁ·ºÍÍÆÀí¿ò¼Ü½øÐг¹µ×µÄ³ÁÐÂÉè¼ÆÀ´ÊÊÅ䣬ʹµÃÄ£ÐÍ¿ÉÄÜÔÚ´ó¹æÄ£ GPU ¼¯ÈºÉϸßЧÔËÐУ¬Õâ²ÅÓÐÁ˽ñÄê 1 Ô嵀 MiniMax-Text-01£¬ÕâÒ²ÊǵÚÒ»¸öÒÀÀµÏßÐÔ°ÑÎÈÁ¦»úÔì´ó¹æÄ£²¿ÊðµÄÄ£ÐÍ¡£
Äܹ»Ëµ£¬MiniMax-Text-01 ÊÇ MiniMax ÔÚÏßÐÔ°ÑÎÈÁ¦Õâ¼þÊÂÉÏ£¬ÎªÕû¸öÐÐÒµ´ÓÓ×¹æÄ£¿ÉÐеĹ²Ê¶£¬µ½ Scale up µÄ¿ÉÐÐ×öÁËÒ»´ÎÑéÖ¤¡£¶øÍÆÀíÄ£ÐÍ M1£¬ÐÔÖÊÉÏÓÖÊÇÒ»´Î»ùÓÚ MiniMax-Text-01 µÄ scale up ºÍ¼Ü¹¹´´Ð¡£
ÍŶÓÒÔ MiniMax-Text-01 Ϊ»ù×ù£¬Ö´ÐÐ 7.5 ÍòÒÚ token µÄ¶¨Ïò¼ÓǿԤѵÁ·£¬½« STEM£¨¿ÆÑ§/¼¼Êõ/¹¤³Ì/Êýѧ£©¡¢±à³Ì´úÂëÓ븴ÔÓÍÆÀíÈýÀàÖ÷ÌâÁìÓòµÄÊý¾ÝȨ³ÁÌáÉýÖÁ×ÜÓïÁÏ 70%¡£Ëæºóͨ¹ý¼à¶½Î¢µ÷½×¶Î×¢ÈëÁ´Ê½Ë¼ÂÇ£¨CoT£©»úÔ죬ϵͳÐÔ¹¹½¨Ä£Ð͵ķֲ½ÍÆÀíÄÜÁ¦£¬ÎªÇ¿»¯½ø½¨µì¶¨ÄÜÁ¦»ù´¡¡£
×îÖÕÕâÖÖ¼¤½øÊ½µÄ´´Ðµõ½ÁË»ý¼«µÄÑéÖ¤£¬M1 ÊÇĿǰȫÇò×îÏȵ½´ï 80k ¸ßµÍÎÄÊä³öµÄÍÆÀíÄ£ÐÍ£¬Í¬Ê±ÔÚ³¤¸ßµÍÎÄ£¬Èí¼þ¹¤³ÌºÍ Agent ¹¤¾ßʹÓ÷½ÃæÌåÏÖ³öÁËÓÅÊÆ¡£
´ËǰÐÇÒ°ºÍ Talkie ÔÚóÒ×»¯ÉϵÄÓÅÒì²û·¢£¬Èà MiniMax ÔçÔç³ÉΪһ¼ÒÄܹ»×Ô¼º¶ÀÁ¢ÐÐ×ߵĴóÄ£Ð͹«Ë¾£¬Ò²Èñí½ç¸³ÓèÁËÕâ¼Ò¹«Ë¾Ò»¸ö¡¸²úÆ·Çý¶¯¡¹ÕâÑù¹ýÓÚ³éÏóµÄ±êÇ©¡£Õâ¿Ï¶¨Ë®Æ½ÉϺöÊÓÁË MiniMax ÔÚÄ£ÐͲãÃæÉÏÏ൱ǿº·µÄÑз¢ÄÜÁ¦¡£
ÖµÍ×ÌùÐĵÄÊÇ£¬MiniMax µÄ¹Ù·½²¼¸æÐ¹Â©£¬M1 ϵÁÐÄ£ÐÍͬʱҲÀ¿ªÁËΪÆÚÎåÌìµÄ MiniMaxWeek µÄÐòÄ»£¬Î´À´ÎåÌ죬MiniMax »áÝÓÈÆÎı¾¡¢ÓïÒôºÍÊÓ¾õµÈ¶àģ̬ģÐͶԱí°ä²¼¸ü¶àµÄ¼¼Êõ½øÕ¹¡£
Óë´Ëǰ MoE µÄ Abab 6 Ä£Ð͸ճöÏÖʱÀàËÆ£¬Õâ´Î°ä²¼µÄ»ìºÏ°ÑÎÈÁ¦»úÔìµÄ M1 Ôڵײã¼Ü¹¹²ãÃæÒÀÈ»ÊÇÒ»¸ö¡¸·Ç¹²Ê¶¡¹µÄÍÆÀíÄ£ÐÍ£¬µ«Ò²ÕýÊÇÓÉÓÚÕâЩÂÅ´Î̽ÈëÄ£Ð͵ײã¼Ü¹¹¡¸·Ç¹²Ê¶¡¹µØ´øËù´øÀ´µÄ¼¼Êõ´´Ð£¬Ò»ÏòÔÚÓ¡Ö¤ MiniMax ÖÕÓÚÊÇÒ»¼Ò¡¸Ä£ÐÍÇý¶¯¡¹µÄ AI ¹«Ë¾¡£
被言情文男主们被轮流欺负有一个小王延峰提出的一连串问题,引发了现场热议。在上海科技大学教育、创新和可持续发展研究中心主任杨燕青看来,引发这些问题的根源在于AI的能力已发生了根本变化。她说,今年以来,AI已呈现出从执行指令的工具,逐步向具备自主规划和持续优化能力的智能体演进的显著趋势——这意味着新的规则需求正在出现。宣璐:我们完整连排了很多遍,第一天演出后,慢慢把注意力更多集中到故事和对手身上,屏蔽其他干扰,沉浸式投入,现在大家不都喜欢沉浸式嘛。被言情文男主们被轮流欺负有一个小¡¶ÒÑÂú18¡·依托铁路路网优势,中老双边贸易也步入快车道。眼下正是榴莲等热带水果上市季,磨憨口岸货场迎来进口高峰。老挝的热带水果最快可实现当天采摘、当天直达国内市场。北京时间6月6日,曼联边后卫、葡萄牙国脚达洛特透露,C罗曾告诉他,曼联队内一名未透露姓名的球员在球队踢不出来,因为他缺乏斗志。
20260609 ? 被言情文男主们被轮流欺负有一个小科学规划与政策引领,不仅推动能源转型,更让中国生态环境持续向好,绿色转型发展蓝图正在中国加速成为现实。这一点,从长江经济带的发展实践中可清晰看出。2016年1月,中国召开推动长江经济带发展座谈会,明确了“共抓大保护,不搞大开发”的发展方向。如今,长江经济带优良水质比例已从67%提升至96.5%,地区生产总值翻了一番多,生态环境保护与经济发展真正实现了齐头并进。这一实践生动印证了中国绿色发展道路的科学性,也为全球生态保护与经济发展协同推进提供了宝贵经验。¡¶Õ¨ÁѰɾްô38¼¯Âþ»Ãâ·ÑÅÔ¹Û¡·现在一切都变了。虽然选举结果仍有待确认,但情况可能突然发生变化,因为穆里尼奥的偏好名单中有伯纳多-席尔瓦。尽管此前皇马高层和技术部门曾拒绝这笔操作,但这位教练的要求可能让计划出现调整。此前外界认为,伯纳多-席尔瓦的争夺会在巴萨和马竞之间展开。
20260609 ? 被言情文男主们被轮流欺负有一个小另一种可能是,即便Claude永远学不会真正的研究品味,仅靠现在的加速趋势,每个人类研究员能同时指挥的工作量已经大了好几倍。Ïã½¶ÊÓÆµ为提高比赛节奏,多项新规则也将在法丙试行:换人名额时,球员必须在10秒内离场,避免拖延时间;界外球和角球时也将开始计时。