Yike Wang

新的FLIP方法为小型LLM提供无需参考的奖励建模

研究人员开发了一种新颖的奖励建模方法，称为FLIP（FLipped Inference for Prompt reconstruction，通过反向推理进行提示重建），它绕过了使用大型语言模型作为裁判或显式评分标准的需求。FLIP通过推断最有可能生成给定响应的指令来实现，并将推断出的指令与原始指令之间的相似性作为奖励信号。该方法在各种领域和小型语言模型上均显示出优于LLM-as-a-Judge基线方法的性能，并提高了外在评估中的下游性能。