非常棒的长文本输入大模型：基于MiniMax的海螺AI模型，快来体验一下吧！ 海螺AI—MiniMax 旗下生产力产品，你的AI伙伴，10倍速提升工作学习效率

这个大模型最大的特点就是支持长文本输入，而且是从内部就擅长对长文本的处理，根据其github开源项目的描述，其长文本处理能力要优于当前市面上流行的各类模型，就像断水流大师兄说的：我不是针对谁，我是说在座的各位，都是XX。

MiniMax-01 系列模型

源代码：https://github.com/MiniMax-AI/MiniMax-01

 MiniMax-01 系列模型包括两款模型：MiniMax-Text-01 和 MiniMax-VL-01。

MiniMax-Text-01 是一个强大的语言模型，拥有 4560 亿个总参数，每个令牌激活 459 亿个参数。为了解锁其长上下文功能，它采用了集成了 Lightning Attention、Softmax Attention 和 Mixture-of-Experts （MoE） 的混合架构。利用线性注意力序列并行增强 （LASP+）、varlen 环注意力和专家张量并行 （ETP） 等高级并行策略，其训练上下文长度扩展到 100 万个令牌，并且在推理过程中可以处理多达 400 万个令牌。因此，MiniMax-Text-01 在各种学术基准测试中展示了顶级性能。

基于 MiniMax-Text-01 的强大功能，开发了 MiniMax-VL-01 以增强视觉功能。它使用多模态 LLM 中常见的 “ViT-MLP-LLM” 框架。它使用三个关键组件进行初始化和训练：用于视觉编码的 3.03 亿参数视觉转换器 （ViT）、用于图像自适应的随机初始化的两层 MLP 投影仪以及作为基本 LLM 的 MiniMax-Text-01。该模型具有动态分辨率机制。输入图像根据预设网格调整大小，分辨率范围为 336×336 到 2016×2016，同时保持 336×336 缩略图。调整大小后的图像被分割成相同大小的不重叠的图块。这些色块和缩略图分别编码，然后组合起来形成完整的图像表示形式。因此，MiniMax-VL-01 在多模态排行榜上取得了顶级性能，展示了其在复杂多模态任务中的优势。

MiniMax-Text-01 的架构简要说明如下：

• 总参数： 456B
• 每个令牌的激活参数数：45.9B
• 编号层数：80
• 混合注意力：每 7 次闪电注意后放置一个 softmax 注意力。
  • 注意力头数：64
  • 注意头尺寸：128
• 专家混合：
  • 专家人数： 32
  • 专家隐藏维度：9216
  • Top-2 路由策略
• 位置编码：旋转位置嵌入 （RoPE） 应用于注意力头尺寸的一半，基本频率为 10,000,000
• 隐藏尺寸： 6144
• 词汇量： 200,064

对于 MiniMax-VL-01，其他 ViT 架构详细信息如下：

• 总参数：303M
• 层数： 24
• 补丁大小：14
• 隐藏尺寸： 1024
• FFN 隐藏大小：4096
• 刀头数量： 16
• 注意头尺寸：64

 长文本：Ruler

可以看到，越长的文本，MiniMax的表现越好！