实体
optax
optax
PulseAugur coverage of optax — every cluster mentioning optax across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Turbo-Muon 优化器通过新的预处理技术加速 AI 训练
研究人员开发了 Turbo-Muon，这是一种新的预处理程序，旨在加速 Muon。Muon 是一种以其在大规模 AI 训练中的强大性能而闻名的优化器。Turbo-Muon 增强了 Newton-Schulz 迭代的初始化，减少了所需的矩阵乘法次数，并能够移除一次迭代。这种优化显著降低了 Muon 的开销，在无需进行超参数调整的情况下，在各种基准测试中将训练时间缩短了约 3%。该方法还提供了关于更新几何形状和潜在的特征崩溃鲁棒性的理论见…
-
Google 发布 JAX-Privacy 1.0，支持可扩展的差分隐私机器学习
Google 发布了 JAX-Privacy 1.0，这是一个旨在促进大规模差分隐私机器学习的库。JAX-Privacy 构建在 JAX 高性能计算库之上，提供了用于实现和审计深度学习模型私有训练算法的工具。新版本旨在将最先进的差分隐私方法与 JAX 的可扩展架构相集成，从而简化其集成过程，并解决将隐私保证应用于大型数据集和复杂模型所面临的挑战。