Data generating process

新研究将神经网络 OOD 泛化与特征工程联系起来

研究人员发现，深度神经网络之所以常常无法学习到能够泛化到分布外 (OOD) 数据的表示，是因为它们无法将特征学习与数据生成过程的可识别性分离开来。研究表明，特征图、标签图和模型类的选择决定了假设的数据生成过程，并控制着 OOD 泛化，仅表示形式的改变就会导致 OOD 任务的性能差异巨大。该论文提出，成功的 OOD 推断不仅需要正确的特征，还需要能够表达目标和训练数据的模型类，并且这些数据能够覆盖相关的表示空间。