The Method of Gaps

New Method of Gaps Derives Exact Generalization Error Expressions for Supervised Learning

一篇新论文介绍了“间隙法”（method of gaps），一种用于推导监督学习算法泛化误差的精确闭式表达式的技术。该方法利用信息度量并表征了预期经验风险的变化。该方法区分了算法驱动的间隙（涉及数据集上的度量）和数据驱动的间隙（使用模型上的度量）。论文证明了这些间隙可以用相对熵来表示，揭示了泛化、假设检验和信息论之间的联系。