Horn rules

新的规则违规分数衡量 AI 模型的逻辑合规性

研究人员引入了一种名为规则违规分数 (RVS) 的新指标来评估预测模型的逻辑合规性，该指标超越了传统的准确性衡量标准。RVS 量化了模型在多大程度上遵守预定义的逻辑或特定领域约束，并区分硬规则和软规则。该指标可应用于任何数据集和模型类型，甚至可以评估训练数据的逻辑一致性并识别定义不佳的规则。在知识图谱链接预测和关系回归基准上的实验表明，具有相似预测准确性的模型可能具有显著不同的逻辑合规性，这是标准指标所忽略的一个区别。