LARS
PulseAugur coverage of LARS — every cluster mentioning LARS across labs, papers, and developer communities, ranked by signal.
-
OrScale优化方法增强神经网络训练
研究人员推出了一种新颖的优化方法OrScale，旨在改进大型神经网络的训练。OrScale通过将信任比率原则适配到正交化设置中，来解决更新的方向和幅度问题。该方法旨在提供动态的、每层的标量调整，确保优化收益有效地分配到不同的架构组件中。在从1.25亿到160亿参数的模型上进行的实验表明，OrScale在无需额外超参数调优的情况下，可以媲美甚至超越Muon等现有方法。
-
新研究表明即时导数足以满足在线循环自适应
研究人员开发了一种新的在线循环自适应方法，该方法显著降低了计算要求。他们的方法，称为“即时导数足以满足”，消除了传播雅可比张量的需要，将每步的内存使用量从 O(n^4) 减少到 O(n^2)。该方法在各种合成数据集和真实世界的脑机接口数据上展示了与传统 RTRL 相当的性能，在不产生可衡量恢复成本的情况下实现了显著的内存节省。
-
Google AI 使用持续预测优化云虚拟机分配
Google 研究人员开发了 LAVA，这是一种新颖的 AI 驱动算法，旨在优化云数据中心的资源分配。LAVA 通过持续预测和适应虚拟机 (VM) 的实际生命周期，解决了将虚拟机高效地打包到物理服务器上的挑战。与依赖单一初始预测的先前方法不同，LAVA 使用概率模型来估计 VM 的生命周期，并在 VM 运行时实时更新这些预测，从而提高资源利用率并减少浪费。
-
Google AI推出LAVA优化云算力，Together AI扩展GPU云，Modal简化AI/ML部署
Google DeepMind的研究人员开发了LAVA，一种新的人工智能驱动的调度算法，旨在优化云数据中心的资源分配。LAVA持续重新预测虚拟机（VM）的生命周期，适应实际使用模式，而不是依赖初始估计。这种方法旨在通过更精确地将虚拟机打包到物理服务器上来减少浪费的容量并提高效率。该系统使用一种受生存分析启发的概率分布模型来处理虚拟机生命周期中的固有不确定性。