HyScale

HyScale系统通过稀疏注意力加速长上下文LLM训练

研究人员开发了HyScale，一个旨在优化具有长上下文的大型语言模型训练过程的新系统，特别关注学习到的稀疏注意力机制。该系统通过引入HyTopK进行即时选择和选择重放以进行高效重新计算，解决了注意力相关token选择中的计算瓶颈。HyScale已展示出显著的加速效果，与现有系统相比，对于具有百万token序列的GLM-5.1等模型，训练速度最高可达2.07倍。