Kexian Tang

新的SPA方法通过提示工程提升LLM知识注入能力

研究人员推出了一种名为SPA（Scaling Prompt-engineered Augmentation，扩展提示工程增强）的新方法，用于增强大型语言模型在专业领域的知识。SPA利用一小组精心设计的提示来生成大量的合成数据，在知识注入任务中表现优于现有基线。研究强调了当前方法的局限性，例如基于RL的扩展增强中的多样性崩溃以及多阶段提示在未经仔细调整时收益递减。研究结果表明，精心设计的提示结合直接的大规模增强对于知识注入非常有效。