SlideFormer

新系统支持在单 GPU 上微调 123B+ LLM

研究人员开发了 SlideFormer，一个旨在实现大型语言模型（LLM）在单 GPU 上微调的新颖系统。该系统利用一个轻量级的异步引擎，将 GPU 视为一个滑动窗口，将计算与 CPU 更新和 I/O 重叠。它还包含一个高效的异构内存管理方案和优化的 Triton 内核，以减少峰值内存使用量。这种方法允许在单个 RTX 4090 上微调超过 1230 亿参数的模型，支持显著更大的批次大小和模型，同时提高吞吐量并减少内存消耗。