FSDP2
PulseAugur coverage of FSDP2 — every cluster mentioning FSDP2 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Unsloth 发布 DeepSeek-V4.1 和 FLUX.3，功能增强
Unsloth 发布了 DeepSeek-V4.1 和 FLUX.3 的更新，支持在本地运行这些模型。DeepSeek-V4.1-Flash-1017 模型拥有 5520 亿参数，其中 160 亿活跃参数，上下文窗口高达 100 万 token，可在 SSD 上高效运行。FLUX.3 Image Klein 是一个拥有 56 亿参数的模型，支持使用多达十张参考图像进行图像编辑，并在 24GB GPU 内存上运行。此次发布还通过 FSD…
-
Databricks通过AI Runtime优化将Qwen LLM微调时间缩短6倍
Databricks详细介绍了他们如何使用其AI Runtime将Qwen 3.8-27B大语言模型的微调速度提高了六倍。通过实施特定的内核安装和优化数据管道，他们将训练时间从7小时以上缩短到1小时多一点，即使在初始设置显示GPU利用率为98%的情况下也是如此。此优化包括减少CPU操作的数量并利用CUDA图等技术来保持GPU的高效运行。
-
多源详细介绍 LLM 效率、扩展和部署策略
最近的一篇论文在消费级硬件上对本地部署的大型语言模型 (LLM) 的能源效率进行了基准测试，发现除了参数数量之外，模型架构和量化等因素也显著影响能耗。另一项研究介绍了 SlideDP，这是一种新的同步数据并行运行时，旨在有效地跨多个 GPU 扩展全参数 LLM 微调，即使超出 GPU 内存。此外，几篇文章讨论了部署和管理 LLM 的实际方面，包括使用 vLLM 在 Azure AKS 等云服务上构建私有 LLM 平台、在 NVIDIA…
-
用户寻求 Accelerate + FSDP2 多 GPU 训练的自动批次大小检测
一位 Reddit r/MachineLearning 版块的用户正在寻求有关如何在使用 Accelerate 和 FSDP2 进行多 GPU 训练时自动确定最佳批次大小的指导。他们正在寻找类似于 Hugging Face 的 SFTTrainer 的功能，该功能可以减小批次大小以避免 CUDA 内存不足 (OOM) 错误。用户想知道当 FSDP2 遇到 OOM 错误时，Accelerate 是否可以自动处理此问题，还是需要外部实现此…
-
新方法解决了长上下文专家混合模型训练中的内存峰值问题
研究人员开发了四种新颖的技术来解决训练具有长上下文的专家混合（MoE）模型时的内存限制。这些方法，包括 PipelinedLLEP、Ring-DTP、Selective Checkpoint Offload (SCO) 和 OffloadStreamAdamW，针对专家调度、词汇投影、梯度检查点和优化器状态等特定内存瓶颈。通过改变计算和数据移动的顺序而非计算本身，这些技术可以保持精确的梯度和损失。当结合使用时，它们能够以一百万个 to…
-
NVIDIA 和 Hugging Face 发布 NeMo Automodel，用于可扩展的扩散模型微调
NVIDIA 和 Hugging Face 合作发布了 NeMo Automodel，这是一个开源的 PyTorch 库，旨在简化扩散模型的微调过程。这个新工具允许用户在 Hugging Face Diffusers 格式下训练和微调模型，而无需进行任何代码重写或检查点转换。NeMo Automodel 支持多种并行策略，包括 FSDP2、张量并行和流水线并行，能够从单个 GPU 扩展到数百个 GPU 进行训练。