Contextual Bandits
PulseAugur coverage of Contextual Bandits — every cluster mentioning Contextual Bandits across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新算法改进了对抗性 MDP 和上下文老虎机中的遗憾界限
研究人员为对抗性马尔可夫决策过程 (MDP) 和上下文老虎机中的策略优化开发了新算法。对于对抗性 MDP,一种利用稳定性匹配奖励的新颖方法 VOPO,在遗憾界限上比先前方法提高了 $\sqrt{S/H}$ 和 $\sqrt{H^3}$ 的因子。在上下文老虎机领域,一种新的 Oracle-高效算法通过采用具有拉普拉斯噪声的策略分数扰动,实现了近乎最优的遗憾率,改进了先前依赖于时间范围的界限。
-
残差量化通过减少内存来增强上下文土匪算法
研究人员引入了残差量化(RQ),这是一种新颖的表示层,旨在增强上下文土匪算法。RQ将连续上下文映射到多个级别的离散分配,从而实现加性土匪算法,该算法提供非线性表达能力,同时显着降低内存需求。在对13个数据集的评估中,RQ变体在11个数据集上优于其非RQ对应物,通常在内存使用量大大减少的情况下,实现了与XGBoost和神经基线相当或更好的性能。
-
Amazon Payments 在 SageMaker 上使用上下文老虎机进行 AI 个性化
Amazon Payments 在 Amazon SageMaker 上实施了一个多目标上下文多臂老虎机模型,以个性化客户内容。该方法旨在优化生成式 AI 生成的个性化内容的选型,解决了为每个用户选择最佳选项的挑战。在为期七周的测试中,该系统在一个客户群体中实现了高个位数百分比的转化率提升,而另一群体则没有改善,这表明内容本身是限制因素。
-
新研究使用 A/B 测试数据指导自适应实验设计
一篇新的研究论文探讨了如何利用 A/B 测试的历史数据来指导自适应实验的设计,特别是那些采用上下文老虎机的实验。该研究引入了一种结合离线策略评估和受控预热模拟的方法,以评估自适应策略的潜在收益。研究结果表明,当存在显著的治疗效果异质性时,自适应的、上下文感知的策略可以优于固定分配,而在其他情况下则几乎没有益处。该研究在已建立的开放基准上验证了这些结论,为确定自适应实验的价值提供了一个实用的框架。
-
新算法增强了上下文老虎机决策的安全性
研究人员推出了一种名为高概率约束UCB的新算法,用于上下文老虎机问题,该问题用于临床试验和推荐系统等应用的序贯决策。该算法通过对已实现成本强制执行高概率约束来解决安全问题,超越了仅考虑预期成本的传统方法。所提出的方法旨在提高结果变异性大的场景下的安全性,为管理决策过程中的风险提供更稳健的方法。
-
新的 BC-ICL 方法利用基础模型实现高效上下文老虎机
研究人员开发了一种名为 BC-ICL 的新方法,用于上下文老虎机,该方法利用预训练的表格基础模型实现更高效的个性化。该方法使用上下文学习,并通过引导重采样交互历史来选择动作,旨在克服数据稀疏和不确定性估计不可靠等挑战。实证结果表明,BC-ICL 在早期回合和整体表现强劲,在在线决策场景中优于现有基线。
-
新研究解决了上下文老虎机的跨域OPE/L问题
一篇新研究论文提出了面向上下文老虎机的跨域策略离轨评估与学习(OPE/L),解决了现有方法的局限性。所提出的方法允许使用来自目标域和其他相关域的历史数据来评估和学习新策略。这种新颖的表述旨在提高在数据有限、确定性日志策略以及引入新动作等具有挑战性场景下的OPE/L性能,这些场景在个性化医疗和内容推荐等领域很常见。
-
新的 Thompson 采样方法解决了非平稳和私有的上下文赌博机问题
两篇新研究论文介绍了 Thompson 采样在上下文赌博机方面的新方法。一篇题为“面向非平稳上下文赌博机的流校正 Thompson 采样”的论文提出了一种贝叶斯方法,通过基于显式漂移模型进行校正和重新加权来重用历史数据,其性能优于标准的遗忘基线。第二篇论文“AdaPrivate-TS:具有隐私放大的上下文赌博机的私有 Thompson 采样”提出了一种差分私有算法,该算法将 Thompson Sampling 与批处理 zCDP 组合…
-
新框架优化从日志数据中进行风险感知策略学习
研究人员开发了一个新的风险感知离线策略学习框架,这对于在无法实时交互的高风险情况下做出决策至关重要。该方法允许通过使用日志数据来优化各种风险度量,包括均值-方差和熵风险。分析表明,与优化期望回报相比,优化这些通用风险标准不会产生额外的统计成本,达到了极小极大最优速率。