MAIR-11

新的蒸馏方法利用RL反馈训练紧凑型AI重排器

研究人员开发了一种新颖的两阶段框架，用于训练紧凑型指令遵循重排器，结合了离策略教师优化和在策略学生蒸馏。第一阶段使用LLM-judge反馈在88K个示例上通过离策略GRPO来增强一个4B教师重排器。第二阶段涉及一个1B学生重排器，它对自己的排名进行采样，并接收源自教师策略的软奖励，尤其是在分布偏移下提高了性能。与传统的蒸馏技术相比，该方法在MAIR-11和MAIR-Full基准测试上取得了优越的结果，甚至超过了已发布的RL训练重排器。