OffCEM

新的VOCEM估计器降低了离轨策略评估中的方差

研究人员开发了一种名为方差最优结合效应模型（VOCEM）的新估计器，用于上下文老虎机策略的离轨策略评估。该方法旨在通过在现有估计器OffCEM和双重稳健（DR）之间进行插值来降低与动作级重要性加权相关的高方差。VOCEM选择一个插值系数来最小化方差，从而得到一个方差不大于OffCEM或DR的估计器。在合成数据和基准测试上的实验表明，VOCEM在各种条件下均优于OffCEM和DR，显示出改进的稳定性和经验鲁棒性。