研究人员提出了一种新颖的信息瓶颈(IB)方法的双瓶颈公式,旨在更好地调节学习表示中的信息。这种新方法将标签相关结构与条件内变化的残差分离开来,这在模型倾向于过拟合干扰信息的低数据场景中尤其有益。该公式包括用于全局容量的标准KL项和用于目标条件内信息的条件KL项,后者可进一步分解为条件内信息和先验不匹配项。实验表明,在低数据分类中性能有所提高,并在密集预测基准测试中取得了持续的收益。 AI
影响 这项研究通过改进模型学习和保留相关信息的方式,有望在数据稀缺的环境中开发出更强大、更具泛化能力的AI模型。
排序理由 这是一篇详细介绍信息瓶颈新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- CatalyzeX Code Finder for Papers
- conditional KL term
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv
- Influence Flower
- information bottleneck
- KL term
- prior-mismatch term
- ScienceCast
- simplex-structured conditional prior
- within-condition information
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →