Pao

新的PAO方法通过选择性强化学习更新增强语义检索

研究人员开发了一种名为PAO（仅正优势）的新型强化学习方法，以改进语义检索系统。在文档索引冻结（一种常见的工业限制）的情况下，标准的强化学习方法会降低嵌入几何。PAO通过仅选择性地对具有正优势的检索项应用梯度更新来解决此问题，从而在将查询嵌入拉向高奖励区域的同时保持拓扑稳定性。实验表明，PAO在工业和公共数据集上的表现均显著优于标准的强化学习和蒸馏基线。