一位开发者创建了一个名为ApexW的新PyTorch优化器,旨在减少大型GPU工作负载的内存使用并加快优化器步骤。早期基准测试显示,ApexW的速度最高可达PyTorch的融合AdamW的1.5倍,并将优化器状态内存使用量减少一半,尤其适用于具有大型张量的模型。然而,由于Python循环开销,它在涉及许多小型张量的工作负载方面面临挑战,并且在端到端训练速度方面尚未比PyTorch的集成C++实现有显著提升。 AI
影响 通过减少优化器内存占用,可能在现有硬件上实现更大的模型或批次大小。
排序理由 开发者创建的工具发布,非来自主要实验室。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →