研究人员基于信息瓶颈原理，开发了一个新的编码器-解码器学习的几何和信息论框架。该框架将问题重塑为率失真任务，表明在任何失真水平下，最优表示都涉及预测流形的软聚类。该研究引入了草图各向同性高斯正则化（SIGReg）作为一种有原则的分布正则化器，用于有限或无监督学习，并在玩具问题和FashionMNIST上进行了实验验证。 AI
影响 引入了一种新颖的自监督学习理论框架和正则化技术，有可能提高模型的效率和性能。
排序理由 在arXiv上发表的学术论文，详细介绍了编码器-解码器学习的新理论框架。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2604.27743v1 Announce Type: cross Abstract: We develop a geometric and information-theoretic framework for encoder-decoder learning built on the Information Bottleneck (IB) principle. Recasting IB as a rate-distortion problem with Kullback-Leibler (KL) divergence as distort…
We develop a geometric and information-theoretic framework for encoder-decoder learning built on the Information Bottleneck (IB) principle. Recasting IB as a rate-distortion problem with Kullback-Leibler (KL) divergence as distortion, we show that the optimal representation at an…