循环神经网络在权重空间中表现出任务特定的冗余

研究人员探索了循环神经网络权重空间内的功能冗余，特别是在单层tanh RNN中使用有序实舒尔坐标。该方法将谱块与非正交耦合分离，允许在保持输入和读出映射不变的情况下进行结构化消融。在固定长度复制任务中，某些非正交舒尔耦合可以移除而对性能影响极小，而其他耦合对于准确的自主回放至关重要。研究发现，保损耗消融的特征因不同任务和训练解决方案而异，表明循环权重空间中存在近似的功能不变性而非普遍对称性。 AI

排序理由 学术论文，详细介绍了分析循环神经网络权重空间的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• context-dependent integration
• Copy task performance and urinary incontinence in Alzheimer's disease
• DagsHub
• Flip-Flop
• Gotit.pub
• Hugging Face
• tanh
• IArxiv
• Influence Flower
• Schur
• ScienceCast
• sine generation

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →