研究人员推出了一种新颖的框架TACO，旨在提高大规模张量并行大语言模型（LLM）训练的效率。TACO采用基于FP8的中间张量压缩策略来解决通信开销问题，利用数据驱动的重塑和自适应Scale-Hadamard变换进行高保真量化。该框架还包含一个融合压缩算子，以减少内存流量和内核启动时间，从而更好地与通信重叠。使用GPT和Qwen模型进行的实验表明，TACO可以在几乎不损失准确性的情况下，将端到端吞吐量提高高达1.87倍。 AI
影响 TACO的效率提升有望加速大规模LLM的训练，从而可能降低计算成本并实现更快的迭代周期。
排序理由 这是一篇详细介绍大模型训练效率新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
