Swish-gated linear unit (SwiGLU)

新的多项式近似提高了在NVIDIA Blackwell GPU上训练大语言模型的速度

研究人员开发了用于大语言模型（LLMs）中超越函数的新多项式近似方法，以提高计算效率。这些近似方法在NVIDIA Blackwell GPU上进行了测试，在孤立的内核操作中显示出从1.19倍到2.19倍的显著加速。当集成到LLM训练任务中时，这些替换方法在整体训练吞吐量方面带来了明显的改进，某些任务的增益高达8.0%。该研究还评估了这些近似方法对模型行为的影响，发现与原生实现相比，最终训练损失的差异很小。