MiniMax AI发布了其新的开源模型MiniMax M3,该模型拥有100万token的上下文窗口和先进的功能。该模型采用了名为MSA的新型稀疏注意力架构,其中包括专用的预填充和解码内核。它支持NVIDIA Hopper和Blackwell架构上的BF16和MXFP8格式,通过前缀缓存和分块预填充实现了长上下文的高效服务。 AI
影响 此次发布突破了开源模型的界限,可能加速长上下文处理和稀疏注意力架构的研究与开发。
排序理由 Frontier-lab模型发布,附带系统卡。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →