Lake & Baroni

AI评估：对通用任务使用分布外测试集

最近在LessWrong上的一篇讨论提出了一种新颖的AI模型评估方法，即使用分布外（OOD）测试数据集。标准的机器学习流程依赖于从与训练数据相同分布中提取的测试集，以防止过拟合。然而，对于诸如描述程序执行之类的通用任务，作者建议测试集应故意从明显不同的分布中提取，例如使用Java代码来测试在Python上训练过的模型。此方法旨在确保模型已学习到根本任务，而不仅仅是训练数据的特定模式，从而防止对数据分布本身的另一种形式的过拟合。