instruction-tuned model

基础语言模型在事实回忆任务上优于经过指令微调的版本

一篇提交至arXiv的新论文探讨了语言模型中“指令税”的现象，即指令微调可能会损害事实回忆能力。研究人员发现，在AKBC LM-KBC 2026共享任务上，基础模型在被提示进行文本补全时，其表现优于经过指令微调的版本，得分分别为0.6836和0.5681。这表明事实回忆能力的下降是模型权重固有的问题，而非提示方法本身造成的。该团队的获胜解决方案包括使用示例提示基础模型、生成多个输出并过滤重复结果，以及采用额外的专门方法来提高回忆和验证信息。