English(EN) Training a Llama 3B model with a 3M token context on a single 8xH100 node fails because model parameters alone exhaust GPU memory. @m_ryabinin explains how Unti

Untied Ulysses 实现 300 万 token 上下文的大规模 LLM 训练

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-11 22:54

使用长上下文窗口（例如 300 万 token）训练大型语言模型在 8xH100 节点等硬件上会面临内存限制。研究人员开发了一种名为 Untied Ulysses 的方法来克服这些限制，从而能够以比以往更大的序列规模训练 8B 和 32B 模型。 AI

影响能够训练具有更长上下文窗口的更大模型，推动 LLM 能力的边界。

排序理由该条目描述了一种用于训练具有长上下文窗口的 LLM 的新研究方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 X — Together (inference / OSS) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

X — Together (inference / OSS) TIER_1 English(EN) · togethercompute · 2026-06-11 22:54

在单台 8xH100 节点上训练具有 3M token 上下文的 Llama 3B 模型失败，因为模型参数本身耗尽了 GPU 内存。@m_ryabinin 解释了 Unti 如何

Training a Llama 3B model with a 3M token context on a single 8xH100 node fails because model parameters alone exhaust GPU memory. @m_ryabinin explains how Untied Ulysses, his team's latest research, pushes past that wall, training at 8B and 32B scale with 25% longer sequences

报道来源 [1]

在单台 8xH100 节点上训练具有 3M token 上下文的 Llama 3B 模型失败，因为模型参数本身耗尽了 GPU 内存。@m_ryabinin 解释了 Unti 如何

相关话题