实体
ZeRO-3
ZeRO-3
PulseAugur coverage of ZeRO-3 — every cluster mentioning ZeRO-3 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新代码库支持使用 ZeRO-3 和 LoRA 的 EMA teacher 规模化自蒸馏
发布了一个新的代码库，能够实现使用指数移动平均 (EMA) teacher 进行规模化自蒸馏，即使是大型模型也能适用。该方法利用 LoRA 微调，共享一个冻结的主干，并管理两个轻量级适配器用于 student 和 teacher 传递。该实现旨在与 ZeRO-3 无缝协作，并包含内存峰值和适配器切换的修复，使其成为研究人员即插即用的解决方案。
-
在 NVIDIA B300 上对 Qwen3-32B 进行微调的新研究
一篇新论文详细介绍了在 NVIDIA B300 加速器上微调 Qwen3-32B 模型时遇到的操作挑战和解决方案。该研究侧重于多节点训练的实际方面，深入探讨了基于功耗的分类、网络文件系统争用等性能瓶颈，以及检测和防止 NCCL 死锁的策略。研究结果强调了实际操作最佳实践而非算法新颖性，并指出监控功耗和验证运行前不变量对于大规模数据并行作业至关重要。
-
开源 C++/CUDA 基础设施可训练万亿参数 LLM
一位开发者创建了 TitanCore Core-1，这是一个用于训练万亿参数 LLM 的开源基础设施。它使用 C++ 和 CUDA 编写，通过实现 ZeRO-3 FSDP 和融合内核来解决 VRAM 限制。据报道，通过优化内存带宽利用率，这种方法比传统方法快 2.6 倍。