generalization
PulseAugur coverage of generalization — every cluster mentioning generalization across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新专著勾勒深度学习理论从近似到涌现的蓝图
一本题为《从近似到涌现：深度学习理论》的新专著，提供了一个统一的、面向证明的现代深度学习理论叙述。本书追溯了该领域从近似和泛化等经典概念到过参数化、生成模型、Transformer和涌现等当代主题的演变。它旨在为研究人员和从业者提供一个严谨的深度学习理论图谱，强调其当前的强大之处、不完整性以及日益增长的对学习机制如何从规模、数据、架构和训练中产生的关注。
-
新指标“方向性锐度”旨在改进机器学习模型泛化评估
研究人员引入了一种名为方向性锐度的新指标，以更好地评估机器学习模型的泛化能力。与测试准确率或标准锐度等现有方法相比，该指标旨在为模型在未见过数据上的表现提供更可靠、更有效的指示。方向性锐度即使在训练过程发生改变时也能保持准确，并且可以高效计算，甚至可以通过保护训练数据的零知识证明来计算。
-
新框架使用傅里叶分析进行高效数据增强
研究人员开发了一个新的框架，利用傅里叶分析和有限群表示论来研究数据增强策略。他们的工作表明，对于许多学习问题，使用随机抽样的群元素子集进行的局部数据增强可以达到与完全增强相同的统计效益。这种方法为具有对称性的学习提供了一种计算上可扩展的方法，解决了完全增强在大群上的不可行性。该研究还包括一个不可能结果，表明精确的不变性强制执行需要对整个群进行平均。
-
新理论探讨预训练和稀疏连接如何增强深度学习泛化能力
三篇新论文探讨了深度学习泛化能力的理论基础。其中一篇论文将预训练确定为弱到强泛化能力的关键因素，并通过预训练过程中的相变展示了其出现。另一篇研究了卷积网络中的稀疏连接如何通过处理低维块中的输入来提高泛化能力，为它们的优势提供了原则性解释。第三篇论文提出了一个非渐近理论，通过展示神经切线核如何划分输出空间、管理信号和噪声来解释泛化能力，并引入了一个提高训练效率和性能的实用目标。