Lila Sciences 和 Anyscale 成功训练了开源模型 GLM-5.3-Flash,使其能够处理 100 万 token 的序列。通过优化训练堆栈,包括修改注意力机制和内存管理,并利用 64 个 B200 GPU,实现了上下文长度的显著增加。Anyscale 博客中详细介绍的这项研究强调了在全长科学数据上进行训练的重要性,并向上游贡献了对 Megatron-LM 的修复。 AI
影响 支持在更长的科学数据集上进行训练,有可能提高 AI 理解复杂生物和实验数据的能力。
排序理由 详细介绍在扩展模型上下文长度方面取得技术成就的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →