MS MARCO Dev

研究人员压力测试生成式检索的超前规划先验，发现其脆弱性

研究人员重现并压力测试了用于生成式检索的超前规划先验（PAG）方法，证实了其在MS MARCO Dev和TREC-DL等标准基准上的有效性。他们的分析显示，PAG中的规划信号对查询措辞的微小变化（如拼写错误）很敏感，这可能导致规划候选池崩溃，并削弱超前规划奖励提供的指导。该研究还探讨了跨语言鲁棒性，发现查询翻译是在使用非英语查询针对英语索引时提高性能的最有效缓解策略。