PulseAugur
中
实时 09:01:02
English(EN) Information-Theoretic Requirements for Gradient-Based Task Affinity Estimation in Multi-Task Learning

新论文揭示样本重叠是多任务学习的关键

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新发表在arXiv上的研究论文介绍了一个理解多任务学习结果的原则性框架。该研究确定了基于梯度的任务亲和度估计的一个关键要求：任务必须共享训练实例，梯度冲突才能准确地揭示关系。在低于30%的样本重叠率下，梯度相关性变得无法与噪声区分，而在高于40%时，它们可以可靠地恢复已知的生物结构。这一发现为过去七年中观察到的多任务学习结果不一致提供了一个潜在的解释，因为许多标准基准都低于有意义的阈值。 AI

影响 确定了提高多任务学习性能和可靠性的基本要求。

排序理由 关于机器学习理论方面的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Jasper Zhang, Bryan Cheng ·

    多任务学习中基于梯度的任务亲和性估计的信息论要求

    arXiv:2604.07848v2 Announce Type: replace Abstract: Multi-task learning shows strikingly inconsistent results -- sometimes joint training helps substantially, sometimes it actively harms performance -- yet the field lacks a principled framework for predicting these outcomes. We i…

相关实体

相关话题