Off Policy Evaluation
PulseAugur coverage of Off Policy Evaluation — every cluster mentioning Off Policy Evaluation across labs, papers, and developer communities, ranked by signal.
-
新的OPE方法考虑了策略性智能体的行为
研究人员开发了一种新的离轨策略评估（OPE）方法，该方法考虑了会根据决策者策略修改其行为的策略性智能体。该方法解决了策略依赖的协变量偏移问题，该问题会破坏标准的OPE假设。所提出的技术通过事后解释进行局部披露，以揭示策略前的协变量，从而能够构建策略价值的双重稳健估计量。
-
新研究推进机器学习的策略外评估技术
两篇新研究论文探讨了机器学习中策略外评估（OPE）的高级技术，这是一个使用现有数据评估新策略性能的关键过程。第一篇论文引入了“Quotient DAGs”，用于处理奖励仅取决于无序项目集但生成过程是有序的情况，从而减少了干扰方差。第二篇论文“CANDOR”提出了一种双重稳健的OPE估计器，通过将注释纳入奖励模型组件，有效地利用了不完美的专家标注反事实样本，尤其适用于医疗保健应用。
-
新框架优化日志策略以提高离线策略评估的准确性
研究人员开发了一个新的日志策略设计框架，以提高离线策略评估（OPE）的准确性。OPE对于使用现有策略收集的数据来估计新策略（如推荐系统）的性能至关重要。该研究确定了奖励覆盖率和方差之间的关键权衡，并为目标策略和奖励分布已知、未知或部分已知等各种场景提出了最优日志策略。研究结果为公司选择推荐系统提供了实际指导，并强调了在OPE数据收集过程中选择处理方法的重要性。
-
新的 FQE 和 FQI 方法绕过 Bellman 完全性以实现稳定性
研究人员开发了新的拟合 Q 评估 (FQE) 和软拟合 Q 迭代 (soft FQI) 方法，这些方法不需要 Bellman 完全性，而 Bellman 完全性在使用函数逼近时常常无法满足。所提出的技术，即静态加权 FQE 和静态重加权 soft FQI，通过重新加权回归步骤以匹配目标策略的静态分布来解决不稳定性问题。这些方法旨在提高强化学习的离策略评估的稳定性和减少值误差。