Aristotelis Ballas

新的SAGE方法通过考虑平坦度和梯度对齐来改进多分布学习

研究人员推出了一种新颖的多分布学习方法SAGE（Spectral-Aware Gradient-Aligned Exploration），该方法解决了现有方法中的局限性。与仅关注平坦度或梯度对齐的方法不同，SAGE同时考虑了损失景观的两种几何特性。该方法将超额风险分解为对齐项和曲率项，表明仅凭其中一项特性都不能保证最佳性能。在领域泛化和多任务学习基准上的实验表明，SAGE在DomainBed上取得了新的最先进结果，并改进了现有的多任务学习求解器。