optax
PulseAugur coverage of optax — every cluster mentioning optax across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Google Research 的 Kauldron：用于模块化的 JAX 训练库
本教程提供了 Google Research 的 Kauldron 指南，这是一个专为研究速度和模块化设计的 JAX 训练库。它详细介绍了 Kauldron 的核心机制：konfig 用于将实验转换为 JSON 可序列化字典，kontext 用于通过字符串路径连接组件以避免直接导入，以及一个带有命名轴的运行时形状检查器。该指南演示了如何实现自定义损失和指标，在没有加速器的情况下对合成数据进行模型训练，以及运行实验扫描。
-
JAX3D 支持分层 NeRF，实现高级三维渲染和重建
研究人员开发了一种使用 JAX 和 jax3d 库创建分层神经辐射场（NeRF）的方法。该方法支持体积渲染、新视角合成和三维重建。本教程详细介绍了构建合成数据集、实现带有位置编码和分层采样的 NeRF，以及使用 JAX 的 JIT 编译和 Adam 优化进行训练的过程。结果通过 PSNR 等指标以及深度、不透明度和提取几何形状的视觉输出来评估。
-
Turbo-Muon 优化器通过新的预处理技术加速 AI 训练
研究人员开发了 Turbo-Muon，这是一种新的预处理程序，旨在加速 Muon。Muon 是一种以其在大规模 AI 训练中的强大性能而闻名的优化器。Turbo-Muon 增强了 Newton-Schulz 迭代的初始化，减少了所需的矩阵乘法次数，并能够移除一次迭代。这种优化显著降低了 Muon 的开销，在无需进行超参数调整的情况下，在各种基准测试中将训练时间缩短了约 3%。该方法还提供了关于更新几何形状和潜在的特征崩溃鲁棒性的理论见…
-
Google 发布 JAX-Privacy 1.0，支持可扩展的差分隐私机器学习
Google 发布了 JAX-Privacy 1.0，这是一个旨在促进大规模差分隐私机器学习的库。JAX-Privacy 构建在 JAX 高性能计算库之上，提供了用于实现和审计深度学习模型私有训练算法的工具。新版本旨在将最先进的差分隐私方法与 JAX 的可扩展架构相集成，从而简化其集成过程，并解决将隐私保证应用于大型数据集和复杂模型所面临的挑战。