sampling-importance-resampling (SIR)

Metropolis-Hastings 算法改进 LLM 策略组合

一篇新研究论文介绍了一种名为 Metropolis-Hastings (MH) 的方法，该方法改进了大型语言模型 (LLM) 中策略组合的现有技术。该方法解决了在推理时组合特定奖励策略时出现的采样偏差问题。论文证明，在各种设置下，MH 的性能始终优于采样-重要性-重采样 (SIR)，在给定的 rollout 预算内提供了更准确的输出分布。研究包括理论分析以及在简化和大规模 LLM 场景中的实验验证。