ÔÚ½« MoE ºÍ Lightning Attention£¨ÉÁµç°ÑÎÈÁ¦£©µÄ¼¤½ø¼Ü¹¹Ë¢ÐÂÒýÈë»ù´¡Ä£Ð͵ײ㣬ת»¯ÎªÈ«Ð嵀 MiniMax-01 ϵÁÐÄ£Ð굀 5 ¸öÔº󣬴óÄ£Ð͹«Ë¾ MiniMax ÖÕÓÚ¸ü½øÒ»²½£¬Åõ³öÁËÔÍÄðÐí¾ÃµÄ×ÔÑÐÎı¾ÍÆÀíÄ£ÐÍ MiniMax-M1£¬ÕâÒ²ÊÇÈ«ÇòÊ׸ö¿ªÔ´¡¢´ó¹æÄ£ÊµÏÖ»ìºÏ°ÑÎÈÁ¦µÄÍÆÀíÄ£ÐÍ¡£
ÍÆÀíÄ£ÐÍÒѳÉΪеĴóÄ£Ðͼ¼Êõº£³±£¬ÄóöÒ»¿îÇ¿¾¢µÄ×ÔÑÐÍÆÀíÄ£ÐÍ£¬Êǽü°ëÄêÀï¹úÄÚµÚÒ»±¤ÀݵĴóÄ£Ð͹«Ë¾Î¬³Ö×Ô¼º¼¼ÊõÉíλ×îÖ±½ÓµÄÖ¸±ê¡£
×÷ÎªÍÆÀíÄ£ÐÍ£¬MiniMax-M1ÔÚ³¤¸ßµÍÎÄÀí½âÄÜÁ¦ÉÏ£¬ÊÇĿǰÔ̺¬ËùÓйØÔ´ºÍ¿ªÔ´Ä£ÐÍÔÚÄÚ£¬ÄÜÁ¦È«Çòǰ¶þµÄÄ£ÐÍ£¬ÇÒÔÚѵÁ·ºÍÍÆÀí³É±¾Éϼ«¸ßµÄÐԼ۱ȡ£
M1 ÒÀȻһÁ¬×Å MoE ¼Ü¹¹£¬¶øÔÚ°ÑÎÈÁ¦»úÔìÉϺÍÇ¿»¯½ø½¨Ëã·¨ÉϵĴ´ÐÂÈà M1 ÏÊÃ÷µÄÇø±ðÓÚÆäËûÍÆÀíÄ£ÐÍ¡£Ä£ÐÍ×ܲÎÊý´ïµ½ 4560 ÒÚ²ÎÊý£¬ÔÉúÖ§³Ö 100 Íò token µÄ¸ßµÍÎij¤¶ÈÊäÈ룬ÒÔ¼°Ä¿Ç°ËùÓÐÄ£ÐÍÖÐ×µÄ 80k token µÄÊä³ö³¤¶È¡£
³ýÁËÔÚ³¤¸ßµÍÎÄÄÜÁ¦ÉϵÄÇ¿ÊÆ£¬M1 Ëùչʾ³öµÄÔÚÖÇÄÜÌ幤¾ßʹÓã¨Agentic Tool Use£©Î¬¶ÈÉϵÄÄÜÁ¦ÉÏÏÞÉõÖÁÔ½·¢ÈÃÈ˵ȴý¡£´ÓÆÀ²â»ù×¼ TAU-Bench (airline) ÖеIJû·¢À´¿´£¬Ä¿Ç° M1 ÒѾÊÇÊÐÃæÉÏÔÚ Agentic Tool Use ·½ÃæÄÜÁ¦×îÇ¿µÄÄ£ÐÍ¡£
¼¼Êõ»ã±¨ÖжÔÓÚ M1 µÄ¸ÅÊöÊÇ£¬Õâ¸öеĿªÔ´Ä£ÐÍÒÑÊÇÓë DeepSeek-R1¡¢Qwen3-235B ²¢ÁеÄÊÀ½ç¶¥¼â¿ªÔ´ÍÆÀíÄ£ÐÍ£¬ÕâÒ»½áÂÛÊÇÔڲμÓÁËÒµÄÚÖ÷Á÷µÄ 17 ¸öÆÀ²â»ù×¼Ö®ºóµÃ³öµÄ¡£ÔÚ´¦Öø´ÔÓ³¡¾°Ê±³¤¸ßµÍÎÄ¡¢ÖÇÄÜÌ幤¾ßʹÓÃÄÜÁ¦Éϵij¤°å×ã¹»ÁÁÑÛ£¬M1 ÔÚ¸üͨÓõÄÄ£ÐÍ»úÄÜÉÏÒ²ÒѾ¿çÈë¶¥¼âÐÐÁС£
´Ë±í±ØÒª×¨ÃÅ×¢Ã÷µÄÊÇ£¬M1 ϵÁÐÄ£ÐÍÖеÄÁ½¸öÄ£ÐÍÖУ¬MiniMax-M1-40K Ä£ÐÍÊÇ MiniMax-M1-80K Ä£ÐÍÔÚѵÁ·Ê±µÄÖÐÑë½×¶Î¡£¶øÔÚ²âÆÀ»ù×¼Ëù³öÏÖµÄ×ÜÌå²û·¢ÖУ¬MiniMax-M1-80k ÔÚÎÞÊý»ù×¼ÉϳÖÐøÓÅÓÚ MiniMax-M1-40k£¬ÕâÒ²ÑéÖ¤Á˸ߵÍÎÄ´°¿Ú³¤¶È´øÀ´ÁËÄ£ÐÍÕûÌå»úÄܵÄÏÔÖøÌáÉý£¬¶ø·Ç½ö½öÒâζ×ÅÖ§³Ö¸ü³¤µÄÊäÈë¡£
Ôڵײã¼Ü¹¹²ãÃæ£¬M1 ÊÇĿǰΨÖðÒ»¸öÓÃÏßÐÔ°ÑÎÈÁ¦»úÔ졸´ó¸Ä¡¹´«Í³ Transformer ¼Ü¹¹£¬´Ó¶ø´ó¹æÄ£ÊµÏÖ»ìºÏ°ÑÎÈÁ¦µÄ MoE ÍÆÀíÄ£ÐÍ£»ÔÚËã·¨²ãÃæ£¬M1 Ìá³öÁËеÄÇ¿»¯½ø½¨Ëã·¨ CISPO¡£¸ü³¹µ×µÄË«Ïß´´ÐÂÌá¸ßÁË M1 µÄѵÁ·Ð§ÄÜ£¬¶øÑµÁ·³É±¾µÄ½µÂäÒ²·Ç³£¿É¹Û¡£
Ϊ½â·Å Transformer ¼Ü¹¹ÖÐÖ÷ÌâÈ·°ÑÎÈÁ¦»úÔì Softmax Attention ÔÚÍÆËã×ÊÔ´¿÷Ëð·½ÃæµÄ¾ÖÏÞÐÔ£¬M1 ϵÁÐÄ£ÐÍÔÚ°ÑÎÈÁ¦»úÔìµÄ¼Ü¹¹Éè¼Æ·½ÃæÏà±È´«Í³¼Ü¹¹µÄÍÆÀí×öÁ˸ü¶·µ¨µÄ³¢ÊÔ¡ª¡ªÑ¡È¡»ìºÏ°ÑÎÈÁ¦»úÔì Lightning Attention¡ª¡ªÀ´°ü°ì³ß¶È Transformer ÖÐʹÓõĴ«Í³ Softmax Attention¡£
¹ÖÒìÈ·°ÑÎÈÁ¦²ãÉè¼ÆÈà M1 ÔÚÍÆÀíʱӵÓÐÏÔÖøÐ§ÄÜÓÅÊÆ£¬ÌìÈ»ÓÐÀûÓÚÇ¿»¯½ø½¨µÄ¸ßЧÀ©´ó£¬µ«×ßµ½»ìºÏ¼Ü¹¹´ó¹æÄ£Ç¿»¯½ø½¨µÄÎÞÈËÇø£¬MiniMax ÏÔȻҲ»áÓöµ½Ð¼ܹ¹´øÀ´µÄÌôÕ½¡£
ºÃ±ÈÔÚ»ìºÏ¼Ü¹¹µÄ³õ²½ÁãÇ¿»¯½ø½¨£¨zero-RL£©³¢ÊÔÖУ¬ÍŶӷ¢ÏÖ´«Í³µÄ PPO/GRPO Ëã·¨»áÐıíµÄÑϳÁÇÖº¦ÑµÁ·»úÄÜ¡£¾ßÌåÀ´Ëµ£¬Ó뷴˼ÐÐΪÓйصĹؼü token¡ª¡ªÀýÈ簵ʾתÕÛµÄ however¡¢wait¡ª¡ªÕâЩµÍ¸ÅÂÊ token ¶Ô²»±äìØºÍÍÆ½ø¿ÉÀ©´ó RL ÖÁ¹Ø³ÁÒª£¬µ«È´ÈÝÒ×ÔÚÕ½Êõ¸üÐÂʱ±»²Ã¼ô£¬ÄÑÒÔ±£ÕÏÕâЩ token µÄÌݶȹ±Ï×£¬µ¼ÖÂÄÑÒÔÍÆ½ø³¤ CoT ÍÆÀíÐÐΪ¡£´ËÎÊÌâÔÚ»ìºÏ¼Ü¹¹Ä£ÐÍÖÐÓÈΪ͹Æð£¬¹ÊÕÏÁËÇ¿»¯½ø½¨µÄ¹æÄ£À©´ó¡£
Ϊ´Ë£¬M1 ÔÚËã·¨²ãÃæÌá³öÁËеÄÇ¿»¯½ø½¨Ëã·¨ CISPO£¬ÒâÔÚÃ÷È·Ô¤·ÀÅׯúÈκΠtoken£¨¼´±ã¸üзù¶È´ó£©£¬Í¬Ê±½«ìØÎ¬³ÖÔÚºÏÀíÁìÓòÒÔÈ·±£²»±äË÷Çó¡£
ÔÚ zero-RL ÉèÖÃÏ£¬MiniMax ÍŶÓÔÚÊýÑ§ÍÆÀíÊý¾Ý¼¯ÉÏѵÁ· Qwen2.5-32B-base£¬¶Ô±È CISPO¡¢ ×Ö½ÚÌø¶¯Ìá³öµÄ DAPO ÒÔ¼° DeepSeek Ìá³öµÄ GRPO Ëã·¨ÔÚ AIME 2024 ÉϵIJû·¢¡£Ò»Ñù²½ÊýÏ CISPO ÏÔÖøÓÅÓÚ DAPO ºÍ GRPO£»ÆäѵÁ·Ð§Äܸü¸ß£¬½öÐè DAPO 50% µÄ²½Êý¼´¿É´ïµ½Ò»Ö»úÄÜ¡£
µ×²ã¼Ü¹¹É϶ÔÓÚÏßÐÔ°ÑÎÈÁ¦»úÔìµÄÒýÈ룬ÒÔ¼°Ëã·¨²ãÝÓÈÆ CISPO ËùÐγɵĸßЧ RL ¿ò¼Ü£¬×îÖÕÈà M1 µÄÇ¿»¯½ø½¨ÑµÁ·±äµÃ¼«¶È¸ßЧ£¬½ø¶ø»ñµÃÁËѵÁ·³É±¾µÄ´ó·ù½µÂä¡£
ÓëÄ£ÐÍÒ»Æð°ä²¼µÄ¼¼Êõ»ã±¨ÖÐÏÔʾ£¬ÔÚÌìÉú³¤¶ÈΪ 10 Íò Token ʱ£¬M1 µÄÍÆËãÁ¿½öΪ Deepseek R1 µÄ 25%£¬¶øÕû¸ö M1 µÄÆëȫǿ»¯½ø½¨ÑµÁ·ÄÜÔÚ 512 ÕÅ H800 GPU ÉϽöÓà 3 ÖÜʵÏÖ£¬ÒÔĿǰµÄ GPU ×âÁÞ¼ÛÖµÍÆË㣬³É±¾½öΪ 53.47 ÍòÃÀÔª¡£
Prompt ÊÇÕâÑùµÄ£º ´´½¨Ò»¸öÃÔ¹¬ÌìÉúÆ÷ºÍѰ·¿ÉÊÓ»¯¹¤¾ß¡£Ëæ»úÌìÉúÒ»¸öÃÔ¹¬£¬²¢Ö𲽿ÉÊÓ»¯ A* Ëã·¨µÄÇó½â¹ý³Ì¡£Ê¹Óû²¼ºÍ¶¯»£¬Ê¹ÆäÓµÓÐÊÓ¾õÎüÒýÁ¦¡£
demo ÀïÄܹ»Ç峺¿´µ½£¬M1 ÔÚÌìÉúµÄÍøÒ³ÖÐ˼·Ç峺µÄÉèÖÃÁË´ú±í´ò×ÖËÙ¶ÈµÄ WPM£¨words per minute£©ºÍÕýÈ·¶ÈµÄ Accuracy Á½¸öÖ¸±ê£¬²¢ÇÒ¹ØÐĵÄÈÃÉÏ·½ÎÄ×ÖËæ×ÅÄãµÄÊäÈë¹ý³Ì¶øÍ¬²½±äÉ«¡£
ÕâЩ demo ¶¼ÔÚÖ¸ÏòһЩͨÓà agent ÖвúÆ·»¯ feature µÄ¿ÉÄÜÐÔ¡£³¤¸ßµÍÎÄÀí½â¡¢ÖÇÄÜÌåÕâЩÔÚÄ£ÐÍÄÜÁ¦²úÆ·»¯¹ý³ÌÖеÄÖ÷ÌâÄÜÁ¦£¬¸ÕºÃÊÇ M1 Ä£Ð͵ÄÇ¿ÊÆµØµã¡£ÕâÇÐºÏ MiniMax ×îÔçÒÔ²úÆ·ÆðÊÆµÄ·Ïߣ¬¶øÕâ¼Ò¹«Ë¾×î½üÔÚ»ù´¡Ä£ÐͲãÃæ³ÖÐøµÄ¼¤½øË÷Çó£¬Ò²ÒÔ M1 µÄ³öÏÖΪ½Úµã£¬ÔÚµ±Ï´óÄ£Ð͹«Ë¾ÃǼ¼ÊõÍ»ÆÆÆÕ±é½µËÙµÄʱ³½ÏÔʾ³öºó¾¢¡£
M1 µÄ³öÏÖ£¬±³ºóÊÇÒ»Ìõ MiniMax ´Ó´«Í³µÄŨÃÜÄ£ÐÍÓë Transformer ¼Ü¹¹£¬×ªÏò MoE ÓëÏßÐÔ°ÑÎÈÁ¦»úÔìµÄ²ÝÉß»ÒÏß¡£ÔÚ MiniMax ¾ö¶¨ÒýÈë MoE ÓëÏßÐÔ°ÑÎÈÁ¦»úÔìµÄʱ³½£¬ÔÚÆäʱÏÕЩ¶¼Ã»ÓÐʲôÄܹ»²Î¿¼µÄ¶ÔÏó¡£
Mistral AI ÔÚ 2023 Äêµ×ÓÿªÔ´µÄÄ£ÐÍ Mistral 8??7B սʤÁËÆäʱ×îÓÅÁ¼µÄ¿ªÔ´Ä£ÐÍÖ®Ò»£¬700 ÒÚ²ÎÊýµÄ Llama 2¡£2023 ÄêÏÄÌ죬MiniMax ÒѾÔڳﱸ´ÓŨÃÜÄ£ÐÍתÏò MoE£¬Í¶ÈëÁËÆäʱ¹«Ë¾ 80% µÄËãÁ¦ÓëÑз¢×ÊÔ´£¬ÔÚ Mistral 8??7B °ä²¼µÄÒ»¸öÔºó£¬ÉÏÏßÁ˹úÄÚÊ׸ö MoE ´óÄ£ÐÍ abab 6£¬²¢ÇÒÓÉÓÚÕâÊǸö¹ýÓÚеļܹ¹£¬MiniMax Ϊ MoE ×ÔÑиüÊÊÅäµÄѵÁ·ºÍÍÆÀí¿ò¼Ü¡£
MiniMax ÆðͷͶÈë Linear Attention ÊÇ´Ó 2024 Äê 4 ÔÂÆðÍ·µÄ£¬ÄÇʱÉÐûÓÐÄ£ÐÍÔÚǧÒÚ¼¶´ËÍâ²ÎÊý¹æÄ£²ãÃæÌôÕ½´«Í³µÄ Transformer ¼Ü¹¹¡£ÕâʹµÃ MiniMax ±ØÒª¶ÔÉ¢²¼Ê½ÑµÁ·ºÍÍÆÀí¿ò¼Ü½øÐг¹µ×µÄ³ÁÐÂÉè¼ÆÀ´ÊÊÅ䣬ʹµÃÄ£ÐÍ¿ÉÄÜÔÚ´ó¹æÄ£ GPU ¼¯ÈºÉϸßЧÔËÐУ¬Õâ²ÅÓÐÁ˽ñÄê 1 Ô嵀 MiniMax-Text-01£¬ÕâÒ²ÊǵÚÒ»¸öÒÀÀµÏßÐÔ°ÑÎÈÁ¦»úÔì´ó¹æÄ£²¿ÊðµÄÄ£ÐÍ¡£
Äܹ»Ëµ£¬MiniMax-Text-01 ÊÇ MiniMax ÔÚÏßÐÔ°ÑÎÈÁ¦Õâ¼þÊÂÉÏ£¬ÎªÕû¸öÐÐÒµ´ÓÓ×¹æÄ£¿ÉÐеĹ²Ê¶£¬µ½ Scale up µÄ¿ÉÐÐ×öÁËÒ»´ÎÑéÖ¤¡£¶øÍÆÀíÄ£ÐÍ M1£¬ÐÔÖÊÉÏÓÖÊÇÒ»´Î»ùÓÚ MiniMax-Text-01 µÄ scale up ºÍ¼Ü¹¹´´Ð¡£
ÍŶÓÒÔ MiniMax-Text-01 Ϊ»ù×ù£¬Ö´ÐÐ 7.5 ÍòÒÚ token µÄ¶¨Ïò¼ÓǿԤѵÁ·£¬½« STEM£¨¿ÆÑ§/¼¼Êõ/¹¤³Ì/Êýѧ£©¡¢±à³Ì´úÂëÓ븴ÔÓÍÆÀíÈýÀàÖ÷ÌâÁìÓòµÄÊý¾ÝȨ³ÁÌáÉýÖÁ×ÜÓïÁÏ 70%¡£Ëæºóͨ¹ý¼à¶½Î¢µ÷½×¶Î×¢ÈëÁ´Ê½Ë¼ÂÇ£¨CoT£©»úÔ죬ϵͳÐÔ¹¹½¨Ä£Ð͵ķֲ½ÍÆÀíÄÜÁ¦£¬ÎªÇ¿»¯½ø½¨µì¶¨ÄÜÁ¦»ù´¡¡£
×îÖÕÕâÖÖ¼¤½øÊ½µÄ´´Ðµõ½ÁË»ý¼«µÄÑéÖ¤£¬M1 ÊÇĿǰȫÇò×îÏȵ½´ï 80k ¸ßµÍÎÄÊä³öµÄÍÆÀíÄ£ÐÍ£¬Í¬Ê±ÔÚ³¤¸ßµÍÎÄ£¬Èí¼þ¹¤³ÌºÍ Agent ¹¤¾ßʹÓ÷½ÃæÌåÏÖ³öÁËÓÅÊÆ¡£
´ËǰÐÇÒ°ºÍ Talkie ÔÚóÒ×»¯ÉϵÄÓÅÒì²û·¢£¬Èà MiniMax ÔçÔç³ÉΪһ¼ÒÄܹ»×Ô¼º¶ÀÁ¢ÐÐ×ߵĴóÄ£Ð͹«Ë¾£¬Ò²Èñí½ç¸³ÓèÁËÕâ¼Ò¹«Ë¾Ò»¸ö¡¸²úÆ·Çý¶¯¡¹ÕâÑù¹ýÓÚ³éÏóµÄ±êÇ©¡£Õâ¿Ï¶¨Ë®Æ½ÉϺöÊÓÁË MiniMax ÔÚÄ£ÐͲãÃæÉÏÏ൱ǿº·µÄÑз¢ÄÜÁ¦¡£
ÖµÍ×ÌùÐĵÄÊÇ£¬MiniMax µÄ¹Ù·½²¼¸æÐ¹Â©£¬M1 ϵÁÐÄ£ÐÍͬʱҲÀ¿ªÁËΪÆÚÎåÌìµÄ MiniMaxWeek µÄÐòÄ»£¬Î´À´ÎåÌ죬MiniMax »áÝÓÈÆÎı¾¡¢ÓïÒôºÍÊÓ¾õµÈ¶àģ̬ģÐͶԱí°ä²¼¸ü¶àµÄ¼¼Êõ½øÕ¹¡£
Óë´Ëǰ MoE µÄ Abab 6 Ä£Ð͸ճöÏÖʱÀàËÆ£¬Õâ´Î°ä²¼µÄ»ìºÏ°ÑÎÈÁ¦»úÔìµÄ M1 Ôڵײã¼Ü¹¹²ãÃæÒÀÈ»ÊÇÒ»¸ö¡¸·Ç¹²Ê¶¡¹µÄÍÆÀíÄ£ÐÍ£¬µ«Ò²ÕýÊÇÓÉÓÚÕâЩÂÅ´Î̽ÈëÄ£Ð͵ײã¼Ü¹¹¡¸·Ç¹²Ê¶¡¹µØ´øËù´øÀ´µÄ¼¼Êõ´´Ð£¬Ò»ÏòÔÚÓ¡Ö¤ MiniMax ÖÕÓÚÊÇÒ»¼Ò¡¸Ä£ÐÍÇý¶¯¡¹µÄ AI ¹«Ë¾¡£
《17C.Com》在个人身价方面,国足阵中王钰栋和塞尔吉尼奥以150万欧元并列榜首;新加坡阵中身价最高的球员是伊赫桑-凡迪,其身价为40万欧元。记者罗马诺报道称,皇家马德里已经与科纳特达成口头协议,双方将签署一份为期四年的合同,具体取决于弗洛伦蒂诺-佩雷斯是否以及何时完成主席连任。《17C.Com》¡¶°ÝÍÐÁ˽ã½ã¡·Ó£»¨È«¼¯一些公司已经开始摸索。Computerworld 的专栏作者 Mike Elgan 观察到,从蓝牙耳机的兴起,到在餐厅接电话的正常化,再到公共场合视频通话的普及——每一次技术带来的行为变化,都经历了从「令人不适」到「理所当然」的转变。语音听写,不过是这个序列中的下一个。警方发现这起“绑架案”的异常后,持续深挖,并追踪到受害人使用犯罪团伙提供的伪造护照照片,入住了泰国北榄府邦披县的另一家酒店。警方立即锁定受害人地点,将其安全解救。
20260606 ? 《17C.Com》答:球员们应该对此保持平静。只要他们做到该做的事情——职业、尊重、严谨、全情投入——就不会有责备,不会有冷脸,也不会有愤怒。如果我们在比赛开始前就把该做的事情全部做好,那么我们就更接近胜利;而如果最终没能成功,那也是足球,也是人生,结果本身不会受到指责,但你必须去尝试。¡¶±¿²®¼ÑÈËÕÛ»¨¼ÇÍøÅÌ¡·国际足联主席因凡蒂诺指出,全球数千家俱乐部每天都在为培养能够代表国家队参加世界杯的球员而付出辛勤努力,新的俱乐部利益计划正是为了认可这种长期且基础性的贡献。首次将全部预选赛纳入补偿范围,使得比以往更多的俱乐部能够获得经济回报。预计此次计划将覆盖约1000场比赛,总资金规模达到3.55亿美元,比上一周期增长70%,这意味着更多俱乐部和更多球员将直接受益。这一机制不仅提供经济支持,也从制度上强化了全球足球生态系统的平衡与公平,使世界杯不再只是少数顶级俱乐部和球员的舞台,而是全球俱乐部共同参与、共享利益的盛会。同时,这一机制有助于推动俱乐部和国家队之间的长期合作关系,使双方在球员培养和比赛安排中形成更紧密的互动与协作,确保全球足球发展更加稳健和有序。
20260606 ?? 《17C.Com》数据集包含 189 段真实录制的跳绳视频,84% 以上分辨率达到 1920×1080;时间标注精确到小数点后一位,基准点是绳子经过腿部后侧的那一帧。Ãâ·ÑÅÔ¹Û60·ÖÖÓ¼«ËÙµçÊÓ¾çË«ÄÐ近两年,世界模型这条赛道有一种明显的“军备竞赛”倾向:模型参数越来越大,训练数据越堆越多,算力卡集群越拉越长。在这种氛围下,BWM团队选择了一条不那么“卷”的路线——不靠堆数据和拼算力,而是靠架构创新和数据效率取胜。