Thompson sampling
PulseAugur coverage of Thompson sampling — every cluster mentioning Thompson sampling across labs, papers, and developer communities, ranked by signal.
- used by Multi-armed bandits for adjudicating documents in pooling-based evaluation of information retrieval systems 90%
- instance of ScienceCast 70%
- used by CORE Recommender 70%
- used by ScienceCast 70%
- used by alphaXiv 70%
- used by Gotit.pub 70%
- instance of alphaXiv 70%
- instance of CatalyzeX 70%
- authored by alphaXiv 70%
- instance of Gotit.pub 70%
- used by CatalyzeX 60%
- authored by Gotit.pub 60%
4 天有情绪数据
-
为多臂老虎机样本复杂度提出新指标
本文在称为“期望近似正确”（ACE）的框架内，为随机多臂老虎机问题介绍了一种名为预期样本复杂度的新指标。作者证明，与高概率保证不同，ACE保证可以收敛到最优预期回报。他们还表明，确定性算法不适用于有利的ACE界限，并分析了随机算法，为已知和未知的次优水平建立了近乎匹配的下界。
-
FlexiFlow系统动态切换ML模型以提高准确性
研究人员开发了FlexiFlow，一个新颖的数据流系统，旨在推理过程中动态切换不同的机器学习模型。这种自适应切换旨在通过利用替代模型处理主要模型表现不佳的特定数据子集来提高整体工作流的准确性和效率。FlexiFlow采用了一种新颖的多臂赌徒方法，结合了模型运行时间和准确性指标，以学习最优的切换策略，其性能优于ML工作流的标准Thompson采样。
-
arXiv上的新研究探讨了强盗算法、对抗性攻击和非平稳性
arXiv上发表的多篇研究论文探讨了强盗算法的进展，重点关注理论界限、对抗性攻击和非平稳环境。其中一篇论文为核估计量强盗算法建立了通用下界，另一篇论文则引入了多臂强盗算法的预期样本复杂度。研究还深入探讨了对预热强盗算法的对抗性攻击，并探索了具有获胜者反馈的m集对抗性强盗算法。此外，研究解决了均值偏移的最佳臂识别问题、使用LLM推导的协方差进行相关Thompson采样，以及计算上可行的鲁棒强盗算法。最后，一篇论文提出了一种用于非平稳环境…
-
Amazon Payments 在 SageMaker 上使用上下文老虎机进行 AI 个性化
Amazon Payments 在 Amazon SageMaker 上实施了一个多目标上下文多臂老虎机模型，以个性化客户内容。该方法旨在优化生成式 AI 生成的个性化内容的选型，解决了为每个用户选择最佳选项的挑战。在为期七周的测试中，该系统在一个客户群体中实现了高个位数百分比的转化率提升，而另一群体则没有改善，这表明内容本身是限制因素。
-
新的评估方法在预算内高效发现AI故障
研究人员开发了一种新颖的风险感知自适应评估方法，以更有效地识别交互式AI代理中的高影响力故障。该方法在新的arXiv论文中有所详述，将评估构建为一个序贯分配问题，根据潜在影响和观察到的故障率来优先排序场景。该方法在预算紧张的情况下，通过以更少的试验恢复更高比例的关键故障，并减少在非故障场景上的资源浪费，显著优于均匀分配。
-
加州大学伯克利分校研究人员为Transformer开发基于Bandit的剪枝方法
加州大学伯克利分校的研究人员开发了一种新颖的方法来剪枝大型Transformer模型，包括用于视觉和语言任务的模型。该技术被构建为一个损伤感知的多臂老虎机（multi-armed bandit）问题，旨在识别并移除Transformer内的完整功能单元，同时将性能下降降至最低。该方法通过掩码注意力头（attention heads）和MLP通道组来衡量它们对模型损失的影响，然后使用Thompson sampling等采样策略依次选择要…
-
新的arXiv论文推进了多臂老虎机算法和遗憾最小化
arXiv上发表的多篇研究论文探讨了多臂老虎机算法的进展。其中一篇论文解决了具有遗忘对手的老虎机的最优切换遗憾问题，提出了一种无论切换次数如何都能实现最优遗憾的单一算法。另一项研究侧重于在随机半老虎机环境中选择具有最小最长路径长度的k条路径，这与并行数据传输相关。进一步的研究调查了具有任意自适应动作集的线性上下文老虎机，实现了近乎最小最大最优的遗憾界限。此外，论文还深入研究了具有探测和获胜反馈的老虎机设置、满意遗憾最小化以及非单调凸脊…
-
新的汤普森采样变体“alpha-TS”提供通用遗憾分析
研究人员开发了汤普森采样（一种流行的解决随机多臂老虎机问题的算法）的通用遗憾分析。这种新方法，称为“alpha-TS”，通过一个因子“alpha”来调整似然度，从而使用分数后验分布而不是标准后验分布。该分析在先验和奖励分布的温和条件下，产生了实例依赖和实例独立的频率遗憾界限，适用于亚高斯和指数族模型。推导出的界限与现有的改进型UCB界限相匹配，并且不需要闭式或共轭先验等特定结构属性。
-
新的 Thompson Sampling 变体解释了在 bandit 问题中的方差膨胀
研究人员推出了一种名为“$\alpha$-TS”的广义线性 bandit 问题 Thompson Sampling 算法变体。这种新方法将方差膨胀的概念形式化，这对于在现有分析中实现近乎最优的遗憾保证是必要的。该研究概述了在无需可处理后验近似的情况下分析 $\alpha$-TS 的一般条件，这与先前的工作不同。研究结果为特定奖励分布建立了 $O(d^{3/2}\sqrt{T}\log T)$ 的遗憾界限，并提供了一个解释上限中 $d^…
-
新研究改进高斯过程老虎机优化技术 · 跟踪2个来源
arXiv上的两篇新研究论文探讨了高斯过程老虎机优化方面的进展。第一篇论文侧重于随时间变化的环境，提出了一种具有恒定探索参数的方法，以实现更优的遗憾界限。第二篇论文解决了并行高斯过程老虎机优化问题，展示了如何在不要求初始不确定性采样阶段的情况下，尤其是在无噪声设置中，实现更优的遗憾界限。
-
新框架通过贝叶斯 MCTS 提升 LLM 启发式设计
研究人员开发了 Clade-AHD，一个旨在提高大型语言模型（LLM）自动启发式设计（AHD）中蒙特卡洛树搜索（MCTS）效率的新框架。这种新方法用分支级别的贝叶斯信念取代了传统的节点级别估计，利用 Beta 分布和 Thompson 采样来更有效地建模不确定性和指导探索。实验表明，Clade-AHD 在复杂的优化问题上优于现有方法，同时需要更少的计算资源。
-
新研究探索内存增强进化用于代码优化
两篇新研究论文提出了增强进化算法以进行代码优化和自动化算法设计的新方法。EvoMem 引入了一个持久化内存架构，用于捕获和重用不同运行和任务中的成功变异策略，旨在减少冗余探索。另一方面，PACE 专注于将局部逻辑解耦为称为可执行算法原语（EAP）的持久化单元，以实现有价值代码片段的代码级迁移和重用。
-
DocMemo框架通过动态记忆增强长文档理解能力
研究人员推出了一种新颖的记忆引导框架DocMemo，旨在增强多模态文档理解能力，尤其适用于长文档。该系统通过采用三级检索状态（文档模式记忆、页面信念记忆和问题情节记忆）来解决静态检索和脆弱的跨轮记忆的局限性。DocMemo利用Thompson采样等机制通过贝叶斯信念更新动态优化页面选择，在三个基准测试中取得了最先进的性能。
-
LLMs 增强冷启动推荐的贝叶斯先验 · 跟踪 2 个来源
研究人员开发了一种方法，通过利用大型语言模型 (LLM) 来提高评论推荐系统中的冷启动性能。该方法使用 LLM 从评论文本中提取语义信号，将其转换为贝叶斯先验，从而“预热”Thompson 采样算法。该技术在交互数据稀疏的情况下尤其有益，在积累少量反馈后显示出最大的收益。研究还发现，不同的先验设计，例如性别先验和内容先验，会对用户参与度产生不同的影响，并且在不同人口统计细分群体中的有效性各不相同。
-
Conformal Bandits 框架整合了统计有效性和奖励效率
研究人员推出了一种名为 Conformal Bandits 的新框架，该框架将 Conformal Prediction 整合到用于顺序决策的 bandit 问题中。这种方法旨在提供统计有效性并提高奖励效率，尤其是在传统方法（如 Thompson Sampling 和 Upper Confidence Bound）可能遇到困难的弱臂可分性场景中。该框架提供了有限样本预测覆盖保证，并通过模拟和投资组合分配的应用得到了证明，在遗憾和风险调…
-
新的贝叶斯优化方法增强了光谱数据分析
研究人员开发了一种新的近红外光谱最优波长选择方法，这对于提高光谱数据在糖含量估算等任务中的准确性和可解释性至关重要。该方法将波长选择视为一个二元黑盒优化问题，利用具有 Thompson 采样的贝叶斯优化来识别相关的波长区域。实验表明，与基于遗传算法的选择和模拟退火相比，这种组合贝叶斯优化方法在偏最小二乘回归中表现更优，能够产生更一致、更鲁棒的波长选择。
-
AI研究使用多臂老虎机剪枝神经网络
研究人员开发了一种新颖的方法来剪枝卷积神经网络（CNN）中的特征图，以降低计算成本和存储需求。该方法利用多臂老虎机算法，特别是UCB1和Thompson Sampling，在最小化准确性损失的同时识别和移除冗余特征图。研究表明，这些基于老虎机的算法在MNIST、CIFAR-10和SVHN等各种数据集上，其准确性与未剪枝模型相当，并且显著优于传统的贪婪和基于幅度的剪枝技术。
-
新框架对模型误设下的 Thompson Sampling 进行分类
本文引入了一个新颖的随机稳定性框架，用于分析在潜在模型可能被误设的动态决策场景中的 Thompson Sampling (TS) 算法。该研究对双臂高斯老虎机中的后验演化进行了详细分类，识别出预测极限信念、行动频率和渐近遗憾的明确状态。然后，该框架被推广到有限模型类别，为模型误设下的 TS 行为提供了定性和几何理解，并为结构化老虎机问题中的鲁棒决策奠定了基础。
-
新算法PBTS解决了周期性非平稳老虎机问题
研究人员推出了一种名为周期性自举汤普森采样（PBTS）的新型算法，旨在解决具有周期性非平稳性的老虎机问题。与可能因周期性奖励环境中的过时数据而产生偏差的传统汤普森采样不同，PBTS将信念重置与已知或推断的周期间隔同步。它还包含结构化的自举探索阶段，以清除过时数据，同时保持不确定性估计。在人工环境中进行的实验表明，在周期性非平稳设置下，PBTS与标准汤普森采样相比，累积遗憾显著降低。
-
新研究探讨遗憾最小化和LLM偏好优化
本文介绍了一种新颖的框架，用于在线学习场景中具有分段线性奖励函数的遗憾最小化，适用于合同设计和拍卖等领域。在单调性假设下，所提出的算法实现了 $\widetilde{O}(\sqrt{nT})$ 的严格遗憾界限，解决了学习最优线性合同和在已发布价格拍卖中设定价格的开放性问题。此外，另一篇论文通过开发协方差遗憾泛函的导数理论来探索遗憾优化，并提出了在投资组合倾斜和基于LLM的分配策略中的应用。另一项研究侧重于LLM的偏好优化，提出了一种…