实体
xformers
xformers
PulseAugur coverage of xformers — every cluster mentioning xformers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Stable Diffusion 训练因 GPU 检测错误而失败
一位用户在使用 RTX 4090 GPU 训练 Stable Diffusion 模型时遇到了 `ValueError`。错误消息“torch.cuda.is_available() 应该为 True 但为 False”表明系统无法检测到支持 CUDA 的 GPU，尽管用户已确认 CUDA 工具包和 PyTorch 安装，并且 Python 报告 CUDA 可用。此问题阻止了 xformers 用于内存高效注意力，而这对于高效训练至关重要。
-
xFormers 库可在 GPU 上实现内存高效的 Transformer 模型
本教程演示了如何使用 xFormers 库在 GPU 上构建内存高效的 Transformer 模型。它涵盖了实现和比较内存高效注意力与标准注意力，分析了因果掩码、打包序列、分组查询注意力 (GQA) 和 ALiBi 位置偏差等技术。该指南还展示了如何将这些方法结合到一个可训练的 GPT 风格模型中，该模型利用 xFormers 注意力和 SwiGLU 前馈层进行自动混合精度训练。