counterfactual evidence attribution

新的FARCA框架通过可靠性加权信号提高LLM的事实性

研究人员开发了FARCA，一个旨在提高强化学习训练的大型语言模型事实性的新框架。该方法通过将粗粒度的事实监督转化为局部、可靠性加权的token级训练信号来解决事实信用分配中的噪声问题。FARCA通过将事实验证粒度与策略更新对齐，并引入反事实证据归因来评估验证可靠性，从而减少不可靠信号对模型优化的影响。实验表明，FARCA在保持通用推理能力的同时，显著提高了模型的事实性，并适用于各种模型和基准测试。