OpenRecipes

新型代理ATTUNE将LLM训练吞吐量提升高达2.6倍

一篇新研究论文介绍了一种名为ATTUNE的代理系统，旨在优化大型语言模型（LLM）的训练吞吐量。ATTUNE作为一个编码代理，能够智能地调整训练配方，优化GPU拆分和内存-计算权衡等参数。在亚马逊的生产配方上，使用NVIDIA H100、H200和B200集群，ATTUNE的吞吐量平均提高了1.7倍，并且在性能上超越了NVIDIA自身的基准配方，最高提升17%。该系统在未用于其开发的模型上也取得了显著的提升，优于现有的自动化调优器。