一种名为 FeatherAttn 的新型注意力反向核函数已为 RDNA3/3.5 GPU 开发，与 FlashAttn 等现有实现相比，速度显著提升。在 Strix Halo 硬件上进行测试时，FeatherAttn 在头维度为 128 时显示出 4 倍的速度提升，在头维度为 64 时显示出 1.3 倍的速度提升。此优化对于最近使用头维度为 128 的 AI 模型（如 Anima、Krea 2、MOSS 和 H3）尤其重要，并已被证明可将 LoRA 训练速度提高高达 40%。 AI
影响 在兼容硬件上加速 AI 模型训练和 LoRA 微调。
排序理由 针对特定硬件上 AI 模型训练的新核函数优化。[lever_c_demoted from research: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
