BeamGPT

BeamGPT 算子提升语言模型训练效率

一种名为 BeamGPT 的新型算子已被开发出来，它通过识别标准注意力机制所遗漏的序列结构，显著改善了语言模型的学习曲线。该算子集成到类 nanoGPT 模型中后，在各层实现了约 45% 的注意力与 55% 的 BeamGPT 混合比例。BeamGPT 在序列长度上是线性的，与标准注意力的二次复杂度相比具有显著优势，在长上下文情况下可节省约 2.3 倍的计算资源。用 BeamGPT 替换标准的 MLP 层可将训练损失降低 73 倍，参…