Hugo Lewi Hammer

LLM利用先验知识改进分布外表格预测

研究人员开发了一种利用从大型语言模型（LLM）中提取的知识来改进分布外（OOD）表格预测的方法。该方法将LLM生成的系数先验作为回归中的正则化目标，在五个数据集中的四个上显示出改进，在OOD均方误差方面提高了高达7.9%。虽然提取的知识显示出益处，但候选先验之间的变异性以及通过交叉验证选择最佳先验的难度带来了挑战。研究还指出，LLM衍生的先验在某些数据集上提高了域内准确性，表明其除了移位校正之外，还可以作为一种通用的正则化技术。