Maxwell 团队发布了 Maxwell-V1-Flash,这是一款新的混合专家(MoE)语言模型。该模型拥有 350 亿总参数,每个 token 有 30 亿激活参数,并支持高达 256K token 的上下文长度。主要特点包括用于更快处理长上下文的 Maxwell Block Sparse Attention、用于更广泛信息流的 Manifold-Constrained Hyper-Connections,以及一个细粒度的 MoE 主干。该模型在约 26 万亿 token 的多语言数据上进行了预训练,并经过了两阶段微调,以增强推理和智能体能力。 AI
影响 这款新的 MoE 模型提供了强大的推理和长上下文能力,可能影响更高效、更强大的 AI 智能体的开发。
排序理由 Frontier-lab 模型发布,带有系统卡 [lever_c_demoted from frontier_release: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →