conditional KL term

新的双瓶颈方法改进了AI模型的信息瓶颈

研究人员提出了一种新颖的信息瓶颈（IB）方法的双瓶颈公式，旨在更好地调节学习表示中的信息。这种新方法将标签相关结构与条件内变化的残差分离开来，这在模型倾向于过拟合干扰信息的低数据场景中尤其有益。该公式包括用于全局容量的标准KL项和用于目标条件内信息的条件KL项，后者可进一步分解为条件内信息和先验不匹配项。实验表明，在低数据分类中性能有所提高，并在密集预测基准测试中取得了持续的收益。