PulseAugur
实时 10:24:32
English(EN) The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints

新理论表明共享表示可提高深度学习效率

研究人员开发了一个理论框架,证明了在多任务深度学习中共享表示的好处,尤其是在正交约束下。他们的工作为单独和联合逼近类的描述长度设定了下界和上界。通过使用 Rademacher-Haar 小波级数和 Sawtooth-Walsh 读出构建一个正交函数类,他们表明当任务共享一个潜在的硬特征时,联合逼近所需的比特数更少,为组合式多输出架构提供了理论支持。 AI

排序理由 该集群包含一篇在 arXiv 上发表的学术论文,详细介绍了机器学习领域的理论研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Thomas Dittrich, Oliver Potocki, Philipp Grohs ·

    The Information-Theoretic Benefit of Shared Representations under Orthogonality Constraints

    arXiv:2606.16028v1 Announce Type: new Abstract: Modern deep learning architectures are increasingly multi-task and multi-modal, using a pretrained foundation model combined with task-specific, fine-tuned models. Empirically, exploiting similarity across different problems, instea…