average treatment effects (ATE)

Transformer 模仿贝叶斯教师，实现高效 ATE 估计

研究人员开发了一种新颖的方法，利用 transformer 模型来提高估计平均处理效应 (ATE) 的自适应实验的效率。这些“贝叶斯上下文内实验者”经过训练，可以模仿贝叶斯后验 Neyman 教师，该教师利用实验历史来更新对潜在结果的信念并分配处理概率。采用基于注意力机制的充分统计量和投影梯度下降的 transformer 架构，有效地模仿了这种贝叶斯更新过程。为了处理结果平滑度的变化，采用了混合专家 transformer，其中门充…