Inject, Align, Recover

新的IAR框架增强了LLM的文档知识内化能力

研究人员开发了一种名为IAR（注入、对齐、恢复）的三阶段训练后框架，以改进大型语言模型（LLM）内化特定文档知识以实现无检索问答的能力。该方法将过程分为注入文档知识、使模型与问答任务对齐以及恢复通用能力。在Llama、Phi、Qwen和SmolLM等各种模型家族中，IAR在领域特定问答准确性和在IFEval、MMLU和MSBench等基准测试上的通用性能方面均显示出显著的改进。