ÔÚ½« MoE ºÍ Lightning Attention£¨ÉÁµç°ÑÎÈÁ¦£©µÄ¼¤½ø¼Ü¹¹Ë¢ÐÂÒýÈë»ù´¡Ä£Ð͵ײ㣬ת»¯ÎªÈ«Ð嵀 MiniMax-01 ϵÁÐÄ£Ð굀 5 ¸öÔº󣬴óÄ£Ð͹«Ë¾ MiniMax ÖÕÓÚ¸ü½øÒ»²½£¬Åõ³öÁËÔÍÄðÐí¾ÃµÄ×ÔÑÐÎı¾ÍÆÀíÄ£ÐÍ MiniMax-M1£¬ÕâÒ²ÊÇÈ«ÇòÊ׸ö¿ªÔ´¡¢´ó¹æÄ£ÊµÏÖ»ìºÏ°ÑÎÈÁ¦µÄÍÆÀíÄ£ÐÍ¡£
ÍÆÀíÄ£ÐÍÒѳÉΪеĴóÄ£Ðͼ¼Êõº£³±£¬ÄóöÒ»¿îÇ¿¾¢µÄ×ÔÑÐÍÆÀíÄ£ÐÍ£¬Êǽü°ëÄêÀï¹úÄÚµÚÒ»±¤ÀݵĴóÄ£Ð͹«Ë¾Î¬³Ö×Ô¼º¼¼ÊõÉíλ×îÖ±½ÓµÄÖ¸±ê¡£
×÷ÎªÍÆÀíÄ£ÐÍ£¬MiniMax-M1ÔÚ³¤¸ßµÍÎÄÀí½âÄÜÁ¦ÉÏ£¬ÊÇĿǰÔ̺¬ËùÓйØÔ´ºÍ¿ªÔ´Ä£ÐÍÔÚÄÚ£¬ÄÜÁ¦È«Çòǰ¶þµÄÄ£ÐÍ£¬ÇÒÔÚѵÁ·ºÍÍÆÀí³É±¾Éϼ«¸ßµÄÐԼ۱ȡ£
M1 ÒÀȻһÁ¬×Å MoE ¼Ü¹¹£¬¶øÔÚ°ÑÎÈÁ¦»úÔìÉϺÍÇ¿»¯½ø½¨Ëã·¨ÉϵĴ´ÐÂÈà M1 ÏÊÃ÷µÄÇø±ðÓÚÆäËûÍÆÀíÄ£ÐÍ¡£Ä£ÐÍ×ܲÎÊý´ïµ½ 4560 ÒÚ²ÎÊý£¬ÔÉúÖ§³Ö 100 Íò token µÄ¸ßµÍÎij¤¶ÈÊäÈ룬ÒÔ¼°Ä¿Ç°ËùÓÐÄ£ÐÍÖÐ×µÄ 80k token µÄÊä³ö³¤¶È¡£
³ýÁËÔÚ³¤¸ßµÍÎÄÄÜÁ¦ÉϵÄÇ¿ÊÆ£¬M1 Ëùչʾ³öµÄÔÚÖÇÄÜÌ幤¾ßʹÓã¨Agentic Tool Use£©Î¬¶ÈÉϵÄÄÜÁ¦ÉÏÏÞÉõÖÁÔ½·¢ÈÃÈ˵ȴý¡£´ÓÆÀ²â»ù×¼ TAU-Bench (airline) ÖеIJû·¢À´¿´£¬Ä¿Ç° M1 ÒѾÊÇÊÐÃæÉÏÔÚ Agentic Tool Use ·½ÃæÄÜÁ¦×îÇ¿µÄÄ£ÐÍ¡£
¼¼Êõ»ã±¨ÖжÔÓÚ M1 µÄ¸ÅÊöÊÇ£¬Õâ¸öеĿªÔ´Ä£ÐÍÒÑÊÇÓë DeepSeek-R1¡¢Qwen3-235B ²¢ÁеÄÊÀ½ç¶¥¼â¿ªÔ´ÍÆÀíÄ£ÐÍ£¬ÕâÒ»½áÂÛÊÇÔڲμÓÁËÒµÄÚÖ÷Á÷µÄ 17 ¸öÆÀ²â»ù×¼Ö®ºóµÃ³öµÄ¡£ÔÚ´¦Öø´ÔÓ³¡¾°Ê±³¤¸ßµÍÎÄ¡¢ÖÇÄÜÌ幤¾ßʹÓÃÄÜÁ¦Éϵij¤°å×ã¹»ÁÁÑÛ£¬M1 ÔÚ¸üͨÓõÄÄ£ÐÍ»úÄÜÉÏÒ²ÒѾ¿çÈë¶¥¼âÐÐÁС£
´Ë±í±ØÒª×¨ÃÅ×¢Ã÷µÄÊÇ£¬M1 ϵÁÐÄ£ÐÍÖеÄÁ½¸öÄ£ÐÍÖУ¬MiniMax-M1-40K Ä£ÐÍÊÇ MiniMax-M1-80K Ä£ÐÍÔÚѵÁ·Ê±µÄÖÐÑë½×¶Î¡£¶øÔÚ²âÆÀ»ù×¼Ëù³öÏÖµÄ×ÜÌå²û·¢ÖУ¬MiniMax-M1-80k ÔÚÎÞÊý»ù×¼ÉϳÖÐøÓÅÓÚ MiniMax-M1-40k£¬ÕâÒ²ÑéÖ¤Á˸ߵÍÎÄ´°¿Ú³¤¶È´øÀ´ÁËÄ£ÐÍÕûÌå»úÄܵÄÏÔÖøÌáÉý£¬¶ø·Ç½ö½öÒâζ×ÅÖ§³Ö¸ü³¤µÄÊäÈë¡£
Ôڵײã¼Ü¹¹²ãÃæ£¬M1 ÊÇĿǰΨÖðÒ»¸öÓÃÏßÐÔ°ÑÎÈÁ¦»úÔ졸´ó¸Ä¡¹´«Í³ Transformer ¼Ü¹¹£¬´Ó¶ø´ó¹æÄ£ÊµÏÖ»ìºÏ°ÑÎÈÁ¦µÄ MoE ÍÆÀíÄ£ÐÍ£»ÔÚËã·¨²ãÃæ£¬M1 Ìá³öÁËеÄÇ¿»¯½ø½¨Ëã·¨ CISPO¡£¸ü³¹µ×µÄË«Ïß´´ÐÂÌá¸ßÁË M1 µÄѵÁ·Ð§ÄÜ£¬¶øÑµÁ·³É±¾µÄ½µÂäÒ²·Ç³£¿É¹Û¡£
Ϊ½â·Å Transformer ¼Ü¹¹ÖÐÖ÷ÌâÈ·°ÑÎÈÁ¦»úÔì Softmax Attention ÔÚÍÆËã×ÊÔ´¿÷Ëð·½ÃæµÄ¾ÖÏÞÐÔ£¬M1 ϵÁÐÄ£ÐÍÔÚ°ÑÎÈÁ¦»úÔìµÄ¼Ü¹¹Éè¼Æ·½ÃæÏà±È´«Í³¼Ü¹¹µÄÍÆÀí×öÁ˸ü¶·µ¨µÄ³¢ÊÔ¡ª¡ªÑ¡È¡»ìºÏ°ÑÎÈÁ¦»úÔì Lightning Attention¡ª¡ªÀ´°ü°ì³ß¶È Transformer ÖÐʹÓõĴ«Í³ Softmax Attention¡£
¹ÖÒìÈ·°ÑÎÈÁ¦²ãÉè¼ÆÈà M1 ÔÚÍÆÀíʱӵÓÐÏÔÖøÐ§ÄÜÓÅÊÆ£¬ÌìÈ»ÓÐÀûÓÚÇ¿»¯½ø½¨µÄ¸ßЧÀ©´ó£¬µ«×ßµ½»ìºÏ¼Ü¹¹´ó¹æÄ£Ç¿»¯½ø½¨µÄÎÞÈËÇø£¬MiniMax ÏÔȻҲ»áÓöµ½Ð¼ܹ¹´øÀ´µÄÌôÕ½¡£
ºÃ±ÈÔÚ»ìºÏ¼Ü¹¹µÄ³õ²½ÁãÇ¿»¯½ø½¨£¨zero-RL£©³¢ÊÔÖУ¬ÍŶӷ¢ÏÖ´«Í³µÄ PPO/GRPO Ëã·¨»áÐıíµÄÑϳÁÇÖº¦ÑµÁ·»úÄÜ¡£¾ßÌåÀ´Ëµ£¬Ó뷴˼ÐÐΪÓйصĹؼü token¡ª¡ªÀýÈ簵ʾתÕÛµÄ however¡¢wait¡ª¡ªÕâЩµÍ¸ÅÂÊ token ¶Ô²»±äìØºÍÍÆ½ø¿ÉÀ©´ó RL ÖÁ¹Ø³ÁÒª£¬µ«È´ÈÝÒ×ÔÚÕ½Êõ¸üÐÂʱ±»²Ã¼ô£¬ÄÑÒÔ±£ÕÏÕâЩ token µÄÌݶȹ±Ï×£¬µ¼ÖÂÄÑÒÔÍÆ½ø³¤ CoT ÍÆÀíÐÐΪ¡£´ËÎÊÌâÔÚ»ìºÏ¼Ü¹¹Ä£ÐÍÖÐÓÈΪ͹Æð£¬¹ÊÕÏÁËÇ¿»¯½ø½¨µÄ¹æÄ£À©´ó¡£
Ϊ´Ë£¬M1 ÔÚËã·¨²ãÃæÌá³öÁËеÄÇ¿»¯½ø½¨Ëã·¨ CISPO£¬ÒâÔÚÃ÷È·Ô¤·ÀÅׯúÈκΠtoken£¨¼´±ã¸üзù¶È´ó£©£¬Í¬Ê±½«ìØÎ¬³ÖÔÚºÏÀíÁìÓòÒÔÈ·±£²»±äË÷Çó¡£
ÔÚ zero-RL ÉèÖÃÏ£¬MiniMax ÍŶÓÔÚÊýÑ§ÍÆÀíÊý¾Ý¼¯ÉÏѵÁ· Qwen2.5-32B-base£¬¶Ô±È CISPO¡¢ ×Ö½ÚÌø¶¯Ìá³öµÄ DAPO ÒÔ¼° DeepSeek Ìá³öµÄ GRPO Ëã·¨ÔÚ AIME 2024 ÉϵIJû·¢¡£Ò»Ñù²½ÊýÏ CISPO ÏÔÖøÓÅÓÚ DAPO ºÍ GRPO£»ÆäѵÁ·Ð§Äܸü¸ß£¬½öÐè DAPO 50% µÄ²½Êý¼´¿É´ïµ½Ò»Ö»úÄÜ¡£
µ×²ã¼Ü¹¹É϶ÔÓÚÏßÐÔ°ÑÎÈÁ¦»úÔìµÄÒýÈ룬ÒÔ¼°Ëã·¨²ãÝÓÈÆ CISPO ËùÐγɵĸßЧ RL ¿ò¼Ü£¬×îÖÕÈà M1 µÄÇ¿»¯½ø½¨ÑµÁ·±äµÃ¼«¶È¸ßЧ£¬½ø¶ø»ñµÃÁËѵÁ·³É±¾µÄ´ó·ù½µÂä¡£
ÓëÄ£ÐÍÒ»Æð°ä²¼µÄ¼¼Êõ»ã±¨ÖÐÏÔʾ£¬ÔÚÌìÉú³¤¶ÈΪ 10 Íò Token ʱ£¬M1 µÄÍÆËãÁ¿½öΪ Deepseek R1 µÄ 25%£¬¶øÕû¸ö M1 µÄÆëȫǿ»¯½ø½¨ÑµÁ·ÄÜÔÚ 512 ÕÅ H800 GPU ÉϽöÓà 3 ÖÜʵÏÖ£¬ÒÔĿǰµÄ GPU ×âÁÞ¼ÛÖµÍÆË㣬³É±¾½öΪ 53.47 ÍòÃÀÔª¡£
Prompt ÊÇÕâÑùµÄ£º ´´½¨Ò»¸öÃÔ¹¬ÌìÉúÆ÷ºÍѰ·¿ÉÊÓ»¯¹¤¾ß¡£Ëæ»úÌìÉúÒ»¸öÃÔ¹¬£¬²¢Ö𲽿ÉÊÓ»¯ A* Ëã·¨µÄÇó½â¹ý³Ì¡£Ê¹Óû²¼ºÍ¶¯»£¬Ê¹ÆäÓµÓÐÊÓ¾õÎüÒýÁ¦¡£
demo ÀïÄܹ»Ç峺¿´µ½£¬M1 ÔÚÌìÉúµÄÍøÒ³ÖÐ˼·Ç峺µÄÉèÖÃÁË´ú±í´ò×ÖËÙ¶ÈµÄ WPM£¨words per minute£©ºÍÕýÈ·¶ÈµÄ Accuracy Á½¸öÖ¸±ê£¬²¢ÇÒ¹ØÐĵÄÈÃÉÏ·½ÎÄ×ÖËæ×ÅÄãµÄÊäÈë¹ý³Ì¶øÍ¬²½±äÉ«¡£
ÕâЩ demo ¶¼ÔÚÖ¸ÏòһЩͨÓà agent ÖвúÆ·»¯ feature µÄ¿ÉÄÜÐÔ¡£³¤¸ßµÍÎÄÀí½â¡¢ÖÇÄÜÌåÕâЩÔÚÄ£ÐÍÄÜÁ¦²úÆ·»¯¹ý³ÌÖеÄÖ÷ÌâÄÜÁ¦£¬¸ÕºÃÊÇ M1 Ä£Ð͵ÄÇ¿ÊÆµØµã¡£ÕâÇÐºÏ MiniMax ×îÔçÒÔ²úÆ·ÆðÊÆµÄ·Ïߣ¬¶øÕâ¼Ò¹«Ë¾×î½üÔÚ»ù´¡Ä£ÐͲãÃæ³ÖÐøµÄ¼¤½øË÷Çó£¬Ò²ÒÔ M1 µÄ³öÏÖΪ½Úµã£¬ÔÚµ±Ï´óÄ£Ð͹«Ë¾ÃǼ¼ÊõÍ»ÆÆÆÕ±é½µËÙµÄʱ³½ÏÔʾ³öºó¾¢¡£
M1 µÄ³öÏÖ£¬±³ºóÊÇÒ»Ìõ MiniMax ´Ó´«Í³µÄŨÃÜÄ£ÐÍÓë Transformer ¼Ü¹¹£¬×ªÏò MoE ÓëÏßÐÔ°ÑÎÈÁ¦»úÔìµÄ²ÝÉß»ÒÏß¡£ÔÚ MiniMax ¾ö¶¨ÒýÈë MoE ÓëÏßÐÔ°ÑÎÈÁ¦»úÔìµÄʱ³½£¬ÔÚÆäʱÏÕЩ¶¼Ã»ÓÐʲôÄܹ»²Î¿¼µÄ¶ÔÏó¡£
Mistral AI ÔÚ 2023 Äêµ×ÓÿªÔ´µÄÄ£ÐÍ Mistral 8??7B սʤÁËÆäʱ×îÓÅÁ¼µÄ¿ªÔ´Ä£ÐÍÖ®Ò»£¬700 ÒÚ²ÎÊýµÄ Llama 2¡£2023 ÄêÏÄÌ죬MiniMax ÒѾÔڳﱸ´ÓŨÃÜÄ£ÐÍתÏò MoE£¬Í¶ÈëÁËÆäʱ¹«Ë¾ 80% µÄËãÁ¦ÓëÑз¢×ÊÔ´£¬ÔÚ Mistral 8??7B °ä²¼µÄÒ»¸öÔºó£¬ÉÏÏßÁ˹úÄÚÊ׸ö MoE ´óÄ£ÐÍ abab 6£¬²¢ÇÒÓÉÓÚÕâÊǸö¹ýÓÚеļܹ¹£¬MiniMax Ϊ MoE ×ÔÑиüÊÊÅäµÄѵÁ·ºÍÍÆÀí¿ò¼Ü¡£
MiniMax ÆðͷͶÈë Linear Attention ÊÇ´Ó 2024 Äê 4 ÔÂÆðÍ·µÄ£¬ÄÇʱÉÐûÓÐÄ£ÐÍÔÚǧÒÚ¼¶´ËÍâ²ÎÊý¹æÄ£²ãÃæÌôÕ½´«Í³µÄ Transformer ¼Ü¹¹¡£ÕâʹµÃ MiniMax ±ØÒª¶ÔÉ¢²¼Ê½ÑµÁ·ºÍÍÆÀí¿ò¼Ü½øÐг¹µ×µÄ³ÁÐÂÉè¼ÆÀ´ÊÊÅ䣬ʹµÃÄ£ÐÍ¿ÉÄÜÔÚ´ó¹æÄ£ GPU ¼¯ÈºÉϸßЧÔËÐУ¬Õâ²ÅÓÐÁ˽ñÄê 1 Ô嵀 MiniMax-Text-01£¬ÕâÒ²ÊǵÚÒ»¸öÒÀÀµÏßÐÔ°ÑÎÈÁ¦»úÔì´ó¹æÄ£²¿ÊðµÄÄ£ÐÍ¡£
Äܹ»Ëµ£¬MiniMax-Text-01 ÊÇ MiniMax ÔÚÏßÐÔ°ÑÎÈÁ¦Õâ¼þÊÂÉÏ£¬ÎªÕû¸öÐÐÒµ´ÓÓ×¹æÄ£¿ÉÐеĹ²Ê¶£¬µ½ Scale up µÄ¿ÉÐÐ×öÁËÒ»´ÎÑéÖ¤¡£¶øÍÆÀíÄ£ÐÍ M1£¬ÐÔÖÊÉÏÓÖÊÇÒ»´Î»ùÓÚ MiniMax-Text-01 µÄ scale up ºÍ¼Ü¹¹´´Ð¡£
ÍŶÓÒÔ MiniMax-Text-01 Ϊ»ù×ù£¬Ö´ÐÐ 7.5 ÍòÒÚ token µÄ¶¨Ïò¼ÓǿԤѵÁ·£¬½« STEM£¨¿ÆÑ§/¼¼Êõ/¹¤³Ì/Êýѧ£©¡¢±à³Ì´úÂëÓ븴ÔÓÍÆÀíÈýÀàÖ÷ÌâÁìÓòµÄÊý¾ÝȨ³ÁÌáÉýÖÁ×ÜÓïÁÏ 70%¡£Ëæºóͨ¹ý¼à¶½Î¢µ÷½×¶Î×¢ÈëÁ´Ê½Ë¼ÂÇ£¨CoT£©»úÔ죬ϵͳÐÔ¹¹½¨Ä£Ð͵ķֲ½ÍÆÀíÄÜÁ¦£¬ÎªÇ¿»¯½ø½¨µì¶¨ÄÜÁ¦»ù´¡¡£
×îÖÕÕâÖÖ¼¤½øÊ½µÄ´´Ðµõ½ÁË»ý¼«µÄÑéÖ¤£¬M1 ÊÇĿǰȫÇò×îÏȵ½´ï 80k ¸ßµÍÎÄÊä³öµÄÍÆÀíÄ£ÐÍ£¬Í¬Ê±ÔÚ³¤¸ßµÍÎÄ£¬Èí¼þ¹¤³ÌºÍ Agent ¹¤¾ßʹÓ÷½ÃæÌåÏÖ³öÁËÓÅÊÆ¡£
´ËǰÐÇÒ°ºÍ Talkie ÔÚóÒ×»¯ÉϵÄÓÅÒì²û·¢£¬Èà MiniMax ÔçÔç³ÉΪһ¼ÒÄܹ»×Ô¼º¶ÀÁ¢ÐÐ×ߵĴóÄ£Ð͹«Ë¾£¬Ò²Èñí½ç¸³ÓèÁËÕâ¼Ò¹«Ë¾Ò»¸ö¡¸²úÆ·Çý¶¯¡¹ÕâÑù¹ýÓÚ³éÏóµÄ±êÇ©¡£Õâ¿Ï¶¨Ë®Æ½ÉϺöÊÓÁË MiniMax ÔÚÄ£ÐͲãÃæÉÏÏ൱ǿº·µÄÑз¢ÄÜÁ¦¡£
ÖµÍ×ÌùÐĵÄÊÇ£¬MiniMax µÄ¹Ù·½²¼¸æÐ¹Â©£¬M1 ϵÁÐÄ£ÐÍͬʱҲÀ¿ªÁËΪÆÚÎåÌìµÄ MiniMaxWeek µÄÐòÄ»£¬Î´À´ÎåÌ죬MiniMax »áÝÓÈÆÎı¾¡¢ÓïÒôºÍÊÓ¾õµÈ¶àģ̬ģÐͶԱí°ä²¼¸ü¶àµÄ¼¼Êõ½øÕ¹¡£
Óë´Ëǰ MoE µÄ Abab 6 Ä£Ð͸ճöÏÖʱÀàËÆ£¬Õâ´Î°ä²¼µÄ»ìºÏ°ÑÎÈÁ¦»úÔìµÄ M1 Ôڵײã¼Ü¹¹²ãÃæÒÀÈ»ÊÇÒ»¸ö¡¸·Ç¹²Ê¶¡¹µÄÍÆÀíÄ£ÐÍ£¬µ«Ò²ÕýÊÇÓÉÓÚÕâЩÂÅ´Î̽ÈëÄ£Ð͵ײã¼Ü¹¹¡¸·Ç¹²Ê¶¡¹µØ´øËù´øÀ´µÄ¼¼Êõ´´Ð£¬Ò»ÏòÔÚÓ¡Ö¤ MiniMax ÖÕÓÚÊÇÒ»¼Ò¡¸Ä£ÐÍÇý¶¯¡¹µÄ AI ¹«Ë¾¡£
《榻上臣》BY洛丁一倡议推动AI原生组织的建设。每一次通用技术革命的红利兑现,都依赖组织形态的同步升级;技术铺得再快,组织跟不上,生产率就只能在统计数字里继续“消失”。鼓励企业把组织变革与技术投入放在同等位置,重塑分工、流程与治理边界,培育既懂业务又能驾驭智能体的复合型人才。范丞丞更是积极参与,一会儿扯着其他嘉宾阴阳怪气,一会儿拉着导演表演挨骂警告,一群人刻意捧着李晨,摆出一副都是观众多事挑拨他们关系的态度,李晨本人全程配合。《榻上臣》BY洛丁一´©½øPOÎĵ±Â·È˼ױÊȤ¸ó瑶瑶说,生病后才对这种显性遗传病有了一定了解。外公晚年腿脚不利、步履蹒跚,全村人都误以为他是意外摔伤留下的后遗症,没人想到遗传性小脑萎缩,直至七十多岁离世,家人才知晓病根。瑶瑶母亲四十余岁确诊病症,身体进入不可逆的倒退周期,平衡系统受损,频频摔倒受伤,锁骨骨折后植入钢钉,自理能力慢慢丧失,无奈入住养老院。之前坐车从杭州到温州去养老院给妈妈过生日,回看现场视频,瑶瑶才捕捉到母亲强忍在眼眶里的泪水。随着病情加重,母亲神经受损严重,已经无法完整连贯地表达一句话。该专业毕业生郭伊格说,她提交毕业答辩的小说前后创作十多个版本,字数超过4万字。未来她仍希望努力成为一名职业作家。
20260608 ? 《榻上臣》BY洛丁一在开放的指令集架构RISC-V领域,今年3月产业亦迎来突破窗口。3月24日,阿里达摩院发布新一代旗舰CPU产品玄铁C950,相比上一代产品综合性能提升3倍以上。¡¶¡¶ÌðÃÀµÄ³ÍÖÎ2¡·µÚÈý¼¾¶¯ÂþÔÚÄÄ¿´°¡¡·据不完全统计,近期国内共有十余家新能源车企上调售价或收紧优惠,幅度一般在2000元到6000元不等。此轮价格调整中,部分品牌是在车型更新换代后,新款价格相比前一代有所上调,变化也较多集中在智能化配置选装方面。
20260608 ? 《榻上臣》BY洛丁一但是,赛车并不是你独自一人在赛道上就能完成的运动。赛车的本质就是与他人竞技。所以下一步我们需要一个局部运动规划器。我们决定采用基于采样的运动规划。这意味着我们的赛车在Frenet坐标系中沿纵向和横向采样轨迹,然后通过代价函数结合长距离递归可行性进行评估。我们的计算范围是100米。¡¶»¤Ê¿Ó׽㡷µçÊÓ¾ç瑶瑶刚入职,一身深蓝工装,对来缴费的业主挤出职业微笑。小区主入口条幅猎猎作响——"物业,让城市和生活更美好。"几个退休大爷义务扫落叶、剪枯枝,一切显得热气腾腾。