为 ReLU NTK Gram 矩阵建立了新的界限

研究人员为 ReLU 神经网络切线核 (NTK) Gram 矩阵的最小特征值建立了严格的最坏情况界限。该研究关注 d 维空间中的单位向量，并在标准高斯方向上对成对门控内积进行平均。研究结果为最小特征值提供了 $\Omega(\Delta_\pm/\sqrt{\log n})$ 的通用、无量纲的下界，其中 $\Delta_\pm$ 表示向量的投影分离度。该界限被证明是严格的，并为最坏情况构建了匹配的上界。 AI

影响 这项研究为理解神经网络切线核的行为提供了理论见解，可能有助于深度学习模型的设计和理解。

排序理由 该集群包含一篇详细介绍机器学习理论研究成果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Gaussian function
• Hugging Face
• machine learning
• rectifier

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →