Bryan Cheng

新论文揭示样本重叠是多任务学习的关键

一篇新发表在arXiv上的研究论文介绍了一个理解多任务学习结果的原则性框架。该研究确定了基于梯度的任务亲和度估计的一个关键要求：任务必须共享训练实例，梯度冲突才能准确地揭示关系。在低于30%的样本重叠率下，梯度相关性变得无法与噪声区分，而在高于40%时，它们可以可靠地恢复已知的生物结构。这一发现为过去七年中观察到的多任务学习结果不一致提供了一个潜在的解释，因为许多标准基准都低于有意义的阈值。