Decision-Pretrained Transformer

上下文强化学习模型在实践中可能不是贝叶斯后验采样器

一篇新的研究论文探讨了上下文强化学习（ICRL），特别是决策预训练Transformer（DPT）模型，是否能作为实用的贝叶斯后验采样器。该研究建立了贝叶斯后验采样器的两个必要条件：充分统计量不变性和鞅性质。研究人员使用高斯、伯努利和线性赌博机设置中的统计假设检验，发现这些条件在实际训练的ICRL模型中被持续违反。这表明ICRL在实际应用中可能不像贝叶斯后验采样器那样运行，尽管开发的测试框架提供了一种评估ICRL贝叶斯行为的原则性方法。