BoolQ

Regret Pre-training 提升语言模型知识接地能力

研究人员开发了一种名为 Regret Pre-training 的新自监督学习框架，以改进因果语言模型。该方法利用了通常在标准因果训练中不可用的未来信息，通过使用双视图架构。该框架训练模型同时生成因果学生分布和未来条件教师分布，最小化它们之间的差异以传递面向未来的信号。在九个下游任务上的实验显示准确性显著提高，其中一种配置将 BoolQ 的性能提高了 18 个百分点以上。