一篇新论文挑战了深度学习模型规模的扩大必然导致更好的内部表征的假设。研究人员将通过传统随机梯度下降(SGD)训练的网络与通过开放式搜索演化出的网络进行了比较。虽然两者产生了相似的输出行为,但SGD训练的网络表现出“碎裂纠缠表征”(FER),而演化出的网络在很大程度上避免了这种情况,接近于“统一因子表征”(UFR)。该论文认为,FER可能阻碍了模型的核心能力,如泛化和持续学习,并提出缓解FER对于未来的表征学习至关重要。 AI
影响 这项研究可能通过解决内部表征问题,为改进模型泛化和学习能力的方法铺平道路。
排序理由 论文发表在arXiv上,提出了关于深度学习表征的新假说。[lever_c_demoted from research: ic=1 ai=1.0]
- Akarsh Kumar
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Deep Learning
- Fractured Entangled Representation Hypothesis
- Gotit.pub
- Hugging Face
- ScienceCast
- Unified Factored Representation
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →