实体
information bottleneck
information bottleneck
PulseAugur coverage of information bottleneck — every cluster mentioning information bottleneck across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
最近 · 第 1/1 页 · 共 3 条
-
Researchers explore geometric and information-theoretic framework for self-supervised learning
Researchers have developed a new geometric and information-theoretic framework for encoder-decoder learning, building upon the Information Bottleneck principle. This framework recasts the problem as a rate-distortion ta…
-
新理论统一LLM的KV缓存逐出，改善长上下文生成
研究人员开发了一种新的方法来管理大型语言模型中的KV缓存逐出，该方法借鉴了信息瓶颈原理。这种名为CapKV的方法旨在通过直接针对信息保留来保留缓存中最具预测性的信息。实验表明，与现有的基于启发式的方法相比，CapKV在内存效率和生成质量之间提供了更优的平衡。
-
信息瓶颈问题可通过充分统计量约简变得可处理
研究人员展示了一种方法，当存在充分统计量时，通过将信息瓶颈（IB）问题约简为一个低维等价问题来简化它。这种约简是无损的，保留了整个IB曲线和最优表示。该方法显著降低了计算复杂度，使得IB问题在特定的结构条件下变得可处理，并连接了离散和线性高斯设置。