实体
FSDPC
FSDPC
PulseAugur coverage of FSDPC — every cluster mentioning FSDPC across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
关系
情绪 · 30 天
3 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的优化器有望实现更快、更节省内存的 AI 模型训练
两篇新的研究论文介绍了用于深度学习模型的新型优化技术。第一篇论文《Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization》提出了 Hyperball，这是一种优化器包装器，通过固定权重矩阵范数来在模型规模不断增大的情况下保持性能提升。第二篇论文《OptEMA: Adaptive Exponential Moving Avera…
-
新内核确保跨张量并行大小的确定性LLM推理
研究人员开发了基于树的不变内核（TBIK），以确保大型语言模型（LLM）的确定性推理，无论张量并行（TP）大小如何。这解决了由于TP大小和浮点算术的差异导致相同输入产生不同输出的关键问题。TBIK通过分层二叉树结构对齐归约顺序，保证了逐位可复现性，这对于LLM作为裁判和强化学习等应用至关重要。
-
Google 的 Gemma 4 31B 在 TPU 上进行了微调和部署优化
一篇新的研究论文详细介绍了在 Google Cloud TPU 上微调和部署 Google 的 Gemma 4 31B 模型的首个端到端演示。该研究对大型语言模型适配的 TPU 和 GPU 平台进行了实证比较，记录了将 GPU 原生训练配方移植到基于 JAX 的堆栈所需的代码级适配。结果表明，与 GPU 基线相比，TPU 训练速度快 1.61 倍，成本低 2.12 倍，推理吞吐量几乎相同，并且 TPU 的首次令牌时间降低了 2 倍。