Two-stage Ranking

新的信用分配策略梯度方法改进检索系统训练

研究人员开发了一种名为“信用分配”策略梯度（CA-PG）的新型强化学习方法，以应对大规模检索系统中早期排序器（ESRs）训练的挑战。传统的策略梯度方法在实际应用中难以处理与候选集大小相关的高方差问题。CA-PG旨在通过基于目标项在任何候选集中被选中的概率来计算梯度，而不是整个集合的联合概率，从而降低这种方差。实验表明，这种方法可以提高收敛速度和训练稳定性，尤其是在大型候选集的情况下，这一点已通过合成和真实世界数据进行了验证。