西风 发自 凹非寺量子位 | 公众号 QbitAI体育游戏app平台
开源模子高下文窗口卷到超长，达400万token
刚刚，“大模子六小强”之一MiniMax开源最新模子
MiniMax-01系列，包含两个模子：基础言语模子MiniMax-Text-01、视觉多模态模子MiniMax-VL-01。
MiniMax-01初次大鸿沟扩张了新式Lightning Attention架构，替代了传统Transformer架构，使模子好像高效料理4M token高下文。
在基准测试中，MiniMax-01性能与顶级闭源模子默契极端。
MiniMax-Text-01性能与前段时辰大火的DeepSeek-V3、GPT-4o等打的有来有回：
如下图(c)所示，当高下文普及20万token，MiniMax-Text-01的上风逐步彰着。
在预填充蔓延方面也有权臣上风，在料理超长高下文时更高效，蔓延更低：
网友直呼“难以置信”：
洞开权重，领有400万token的高下文窗口！我蓝本以为这可能要五年后才会收场。
官方暗示，MiniMax-01是为撑执之后Agent关系专揽而权谋的：
因为Agent越来越需要扩张的高下文料理才融合执续的内存。
当今官方还公开了MiniMax-01的68页时间论文，况兼已将MiniMax-01在Hailuo AI上部署了，可免费试用。
另外，新模子API价钱也被打下来了：
输入每百万token0.2好意思元，输出每百万token1.1好意思元。
底下是模子更多细节。
4M超长高下文MiniMax-Text-01
MiniMax-Text-01，参数456B，每次推理激活45.9B。
它翻新性地接纳了羼杂架构，纠合了Lightning Attention、Softmax Attention以及Mixture-of-Experts（MoE）。
况兼通过LASP+、varlen ring attention、ETP等优化的并行计谋和高效的规画通讯重复阵势，MiniMax-Text-01考研高下文长度达100万token，推理时不错扩张到400万token高下文。
模子架构细节如下：
在Core Academic Benchmark上，MiniMax-Text-01在GPQA Diamond上赢得54.4分，卓越GPT-4o。
在长基准测试之4M大海捞针测试，MiniMax-Text-01一水儿全绿。
也即是说，这400万高下文里，有细节MiniMax-Text-01是真能100%捕捉到。
除此以外，还有LongBench v2、Ruler基准测试，造就的是模子长高下文相识才调，包含基于长高下文输入的逻辑推理才调。
MiniMax-Text-01模子在料理Ruler的长高下文推理任务时默契出权臣的上风。
在64K输入级别的默契与顶尖模子GPT-4o、Claude-3.5-Sonnet等竞争力极端，变化轻细，但从128K脱手泄知道彰着的上风，并卓越了通盘基准模子。
LongBench-V2包括不同难度级别的问答任务，涵盖多种高下文类型，包括单文档和多文档、多轮对话、代码仓库和长结构化数据等。团队研讨了两种测试形态：不使用想维链推理（w/o CoT）和使用想维链推理（w/ CoT）。
MiniMax-Text-01在w/ CoT建造中收场了通盘评估系统中的最好恶果，在w/o CoT中默契也很权臣。
团队还用MTOB（ Machine Translation from One Book）数据集评估了模子从高下文中学习的才调。
该任务条目模子在英语和Kalamang（一种在公开数据中极端有限的言语）之间进行翻译，因此在考研语料库中，LLM仅从一部语法书的部安分容和375个翻译示例中学习该言语。
测试恶果高傲，MiniMax-Text-01在无高下文场景下eng→kalam (ChrF)得分最低，团队觉得其它模子可能是在预考研或后考研数据中集加入了kalam关总共据。在delta half book和full book上，MiniMax-Text-01普及了通盘模子。
在kalam→eng(BLEURT)得分上MiniMax-Text-01也与其它模子默契极端。
MiniMax-VL-01
MiniMax-VL-01接纳多模态大言语模子常用的“ViT-MLP-LLM”框架：
一个具有3.03亿参数的ViT用于视觉编码一个迅速启动化的双层MLP projector用于图像适配以及当作基础LLM的MiniMax-Text-01
MiniMax-VL-01终点具有动态分辨率功能，不错左证预设网作风整输入图像的大小，分辨率从336×336到2016×2016不等，并保留一个336×336的缩略图。
退换后的图像被分割成大小沟通的不重复块，这些块和缩略图辞别编码后组合，变成完竣的图像暗示。
MiniMax-VL-01的考研数据涵盖标题、形色和提示。ViT从新脱手在6.94亿图像-标题对上进行考研。在考研经由的四个阶段，料理了共计5120亿token。
最终，MiniMax-VL-01 在多模态名次榜上默契杰出，讲授了其在料理复杂多模态任务中的上风和可靠性。
网友们已脱手第一波实测
得知新模子已在Hailuo AI上部署，网友们已紧忙赶往测试。
有网友使用沟通的prompt将它和Gemini、o1对比，艳羡MiniMax-01默契令东说念主印象潜入。
底下这个测试也没能难倒它：
给我5个奇数，这些数的英文拼写中不包含字母“e”。
感深嗜的童鞋不错玩起来了。
时间论文：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf
[1]https://x.com/MiniMax__AI/status/1879226391352549451[2]https://huggingface.co/MiniMaxAI/MiniMax-Text-01[3]https://huggingface.co/MiniMaxAI/MiniMax-VL-01