一篇新的研究论文提出了一个统一的框架,将监督式深度分类表征为纠错码的解码过程,并借鉴了香农的信息论。该研究展示了交叉熵优化如何使 softmax 分类器与最大似然解码对齐,其中 logits 对应于类特定码字的汉明距离。这一视角解释了标准散度目标的出现,并提供了对决策边界稳定性的几何理解,将神经网络坍塌(Neural Collapse)和 LeJEPA 几何结构识别为在噪声下进行解码的最优结构。 AI
影响 提供了一个理论框架,可能为神经网络中的量化、知识蒸馏和架构正则化带来新方法。
排序理由 学术论文发表在 arXiv 上。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Error-Correcting Output Codes in Classification of Human Induced Pluripotent Stem Cell Colony Images.
- Hugging Face
- Jeffreys
- Kullback--Leibler divergence
- LeJEPA
- neural collapse
- Sergey Salishev
- Shannon
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →