研究人员探索了高容量核关联存储器(特别是训练的核逻辑回归(KLR)Hopfield网络)的几何特性。他们确定了一个称为“优化脊”的关键区域,在该区域吸引子稳定性最大化。该脊的特征是与秩-1谱崩溃相邻的相边界,充当具有放大主曲率的几何奇点。研究还发现,这些网络中的梯度下降动力学表现出由“稳定性边缘”现象驱动的瞬态自稳定行为,其中参数被推向接近学习率稳定性极限的动态平衡曲率状态。 AI
影响 为高容量记忆模型优化动力学和稳定性提供了理论见解。
排序理由 详细介绍机器学习理论新发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Edge of Stability
- Gradient Descent
- Hessian
- Hopfield Networks
- Hugging Face
- Kernel Logistic Regression
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →