syrup

新的SyRuP框架在解码时改进了LLM的系统提示遵循

研究人员开发了SyRuP，一个旨在增强大型语言模型（LLM）在解码阶段遵循系统提示的新框架。与需要模型微调或响应重排的方法不同，SyRuP通过训练一个交叉注意力奖励头在推理时运行。该头使用系统提示条件偏好对来生成令牌级别的遵循分数。在推理时，SyRuP将基础LM的logits与这个学习到的奖励信号相结合，对候选响应进行重排，在开销极小的情况下，一致地优于现有的提示和解码时基线。