Hillstrom

新研究使用 A/B 测试数据指导自适应实验设计

一篇新的研究论文探讨了如何利用 A/B 测试的历史数据来指导自适应实验的设计，特别是那些采用上下文老虎机的实验。该研究引入了一种结合离线策略评估和受控预热模拟的方法，以评估自适应策略的潜在收益。研究结果表明，当存在显著的治疗效果异质性时，自适应的、上下文感知的策略可以优于固定分配，而在其他情况下则几乎没有益处。该研究在已建立的开放基准上验证了这些结论，为确定自适应实验的价值提供了一个实用的框架。