一项新命题使用 Gibbs 熵将机器学习模型中的随机性和压缩联系起来。研究人员证明，有损压缩可以被视为一种保留特定范围内信息内容的定向随机性。这一联系通过一个定理得到证明，并通过深度学习视觉任务的实验证据得到支持，显示了在随机剪枝和幅度剪枝等不同压缩方法之间，学习性能与 Gibbs 熵之间存在高度相关性。 AI
影响 这项研究可能通过提供一个平衡随机性和性能的理论框架，从而带来更有效的模型压缩技术。
排序理由 该条目是一篇在 arXiv 上发表的研究论文，详细介绍了一个新的理论命题和实验验证。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- compressed sensing
- deep learning
- dual tomographic compression
- magnitude pruning
- random pruning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
