Nicolò Felicioni

新方法利用闲置推理资源降低LLM训练成本

研究人员开发了一种新颖的方法，通过利用闲置的推理资源来降低训练大型语言模型的计算成本。该算法使用低精度逆向模式程序来预测梯度，并通过控制变量将这些预测与少量精确梯度相结合。这种方法旨在通过管理方差而不是偏差来减轻近似误差。在1000万到7.74亿参数的模型上进行的实验表明，在车队工作足够便宜的特定条件下，有潜力降低成本，尽管在不同模型大小和训练场景下的性能各不相同。