Sparse Peak Regularization

新的正则化技术提高了知识图谱嵌入的泛化能力

研究人员对知识图谱嵌入（KGE）模型的正则化技术进行了全面的实证研究，重点关注其对泛化能力的影响。研究发现，在各种KGE模型家族中，过拟合是一个普遍存在的问题，而适当的正则化可以显著提高泛化能力和预测性能。为此，本文提出了稀疏峰值正则化（SPR），这是一种新颖的、模型无关的正则化器，旨在选择性地对占主导地位的嵌入分量施加惩罚，从而在不抑制潜在有用的弱信号的情况下提高泛化能力。在八个基准数据集和各种KGE模型上的实验表明，SPR的性能优…