研究人员对神经坍塌(NC)进行了理论上的重新表述,以适应不平衡数据集和开放集场景。他们的分析基于类平均损失而非全局平均损失,表明即使在数据不平衡的情况下,对于交叉熵和二元交叉熵损失,当这些类平均损失达到最小值时,标准NC即可实现。该研究进一步将此扩展到开放集情况,表明未知类的分类器向量在最小损失条件下会重叠并与已知类正交。 AI
影响 为理解模型在具有挑战性的真实数据分布上的行为提供了理论框架。
排序理由 阐述机器学习概念理论进展的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- Binary Cross-Entropy
- CatalyzeX
- cross entropy
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv
- neural collapse
- ScienceCast
- sigmoid function
- Softmax
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →