Artavazd Maranjyan
PulseAugur coverage of Artavazd Maranjyan — every cluster mentioning Artavazd Maranjyan across labs, papers, and developer communities, ranked by signal.
-
新的LOSCAR-SGD方法加速分布式AI训练
研究人员推出了一种新颖的分布式机器学习方法LOSCAR-SGD，该方法解决了通信瓶颈问题。该方法结合了本地训练、稀疏模型更新以及通信-计算重叠，以加速训练，特别是在联邦学习场景中。该方法包含一个延迟校正的合并规则，可以在通信期间优化训练的同时有效地整合同步信息。为平滑非凸目标提供了理论收敛保证，实验结果表明与朴素方法相比，训练时间缩短，性能有所提高。
-
Ringmaster LMO 方法改进异步神经网络训练
研究人员开发了 Ringmaster LMO，一种新颖的异步神经网络训练方法，解决了分布式系统中的效率低下问题。该方法基于延迟阈值概念来管理梯度陈旧性，旨在提高异构环境下的训练速度。该方法专为无约束随机非凸优化设计，并在涉及二次问题和语言模型预训练的实验中，与现有的同步和异步基线相比，表现出卓越的性能。
-
Rescaled ASGD 优化具有异构数据的分布式学习
研究人员推出了一种名为 Rescaled Asynchronous SGD (ASGD) 的新方法，用于在异构条件下优化分布式机器学习模型。该方法通过重新缩放特定工作节点的步长来解决标准 ASGD 中因较快的工作节点贡献更多更新而产生的偏差。该方法在理论上保证收敛到正确的全局目标，并在非凸设置中匹配已知的最小时间复杂度下界。
-
新算法 Rennala MVR 改进并行优化时间复杂度
研究人员推出了一种新颖的并行随机优化算法 Rennala MVR，旨在改善异构计算环境下的时间复杂度。该方法基于 Rennala SGD 算法，通过引入基于动量的方差缩减，以期在系统不稳定和网络延迟普遍存在的场景下提升性能。理论分析和基准测试的实验结果表明，Rennala MVR 可以在特定参数范围内，尤其是在光滑非凸优化任务中，显著提高时间复杂度。