belief simplex

新框架对模型误设下的 Thompson Sampling 进行分类

本文引入了一个新颖的随机稳定性框架，用于分析在潜在模型可能被误设的动态决策场景中的 Thompson Sampling (TS) 算法。该研究对双臂高斯老虎机中的后验演化进行了详细分类，识别出预测极限信念、行动频率和渐近遗憾的明确状态。然后，该框架被推广到有限模型类别，为模型误设下的 TS 行为提供了定性和几何理解，并为结构化老虎机问题中的鲁棒决策奠定了基础。