实体 Untied Ulysses

Untied Ulysses

PulseAugur coverage of Untied Ulysses — every cluster mentioning Untied Ulysses across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_86325 · Jun 11 · 22:54

Untied Ulysses 实现 300 万 token 上下文的大规模 LLM 训练

使用长上下文窗口（例如 300 万 token）训练大型语言模型在 8xH100 节点等硬件上会面临内存限制。研究人员开发了一种名为 Untied Ulysses 的方法来克服这些限制，从而能够以比以往更大的序列规模训练 8B 和 32B 模型。