VC dimension
PulseAugur coverage of VC dimension — every cluster mentioning VC dimension across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的对抗性在线分类模型使用数据预览
研究人员开发了一种新的对抗性在线分类模型，该模型利用标记数据的预览来提高性能。这种方法解决了最坏情况在线分类的挑战，即使对于简单的类别，最坏情况在线分类也是不可能的。通过在预测开始前显示一部分标记序列，该模型可以实现依赖于统计维度而非序列复杂度的界限，有效地用经典的统计维度取代了最坏情况的序列复杂度。
-
新的最优无差别PAC算法匹配理论学习界限
研究人员开发了一种最优无差别PAC算法，该算法能够从独立同分布样本中学习，并达到统计最优风险界限。该新算法匹配了现有的无差别PAC学习的下界，将样本复杂度问题确定到通用常数。这项工作建立在模式识别的基础理论之上，并得到了各种学术和代码共享平台的支持。
-
新研究探讨Cressie--Read散度下的鲁棒PAC学习
研究人员发表了一篇论文，详细介绍了分布鲁棒PAC学习的样本复杂度，特别关注Cressie--Read散度。该研究为具有VC维的假设类建立了新的界限，展示了对抗性扰动如何影响学习率。研究结果揭示了统计误差估计与鲁棒性放大之间复杂的相互作用，尤其是在agnostic学习的情况下。
-
新研究统一了图神经网络的表达能力与几何学，并探索了随机特征
两篇新的arXiv论文探讨了图神经网络（GNNs）的理论基础。第一篇论文引入了一个使用经验Rademacher复杂度来统一GNN表达能力和几何学的框架，提供了考虑数据分布和输入空间几何学的更紧密的泛化界限。第二篇论文研究了具有随机节点特征的GNNs，为置换等变神经网络建立了普遍性结果，并推导了可微函数的逼近率。
-
新框架利用领域知识增强模型选择
一篇新论文介绍了一个用于模型选择的理论框架，该框架使用交叉验证，特别是在纳入领域知识时。该研究为整个学习流程建立了基于VC维度的偏差界，扩展了无界损失函数的现有结果。它提出了“学习空间”来根据领域知识构建候选模型，并证明了在处理高维线性回归时，适应良好的学习空间可以显著优于OLS、LASSO和岭回归等标准方法。
-
新的组合条件解决了 Proper Positive-Only Learning 问题
研究人员解决了机器学习中一个长期存在的关于 proper positive-only learning 的问题。该研究确立，如果一个概念类具有有限的 VC 维度并满足一个称为 uniform exterior separability 的新条件，那么它就可以从仅有正样本中进行 proper 学习。这一表征突显了与标准 PAC 学习的显著差异，包括 proper 和 improper 学习之间，以及确定性和随机 proper 学习之间的分离。
-
领域泛化研究引入域粉碎维度
研究人员引入了一种新的组合度量方法，称为域粉碎维度（domain shattering dimension），以解决领域泛化中的核心问题。该度量方法量化了在给定域族内训练一个在所有域上表现良好的模型所需的随机采样域的数量。研究确立了这一新维度与经典的VC维度之间的紧密关系，证明了在标准PAC框架下可学的任何假设类也在此领域泛化上下文中可学。
-
矛盾图精确确定VC维数
研究人员引入了一种使用矛盾图来确定二元概念类VC维数的新颖方法。该方法确立了m阶矛盾图G_m(H)可以确定H的VC维数是否至少为m。这些图的完整序列（m >= 1的G_m(H)）精确地确定了确切的VC维数，解决了该领域一个长期存在的问题。
-
论文通过泛化界批评挑战深度学习理论
讨论了两篇论文，一篇是2016年由Zhang等人发表的，另一篇是2019年由Nagarajan和Kolter发表的，它们对深度学习理论产生了影响。2016年的论文表明，标准神经网络可以轻松记住随机数据，挑战了基于假设类复杂度的现有泛化理论。随后的研究试图开发依赖于数据的界限，但2019年的论文被认为是对此类努力的又一次打击，表明一致收敛可能不足以解释深度学习的成功。