Answer Probing-Guided Tree Search

新的APTS方法通过探查中间推理来提高LLM解决方案的多样性

研究人员开发了一种名为答案探针引导树搜索（APTS）的新方法，以鼓励大型语言模型（LLM）生成更多样化的解决方案。传统方法由于依赖可能被语言相似性误导的语义嵌入，难以区分真正不同的解决方案路径。APTS通过探查LLM从中间推理步骤中获取潜在答案来解决这个问题。发现这些探查答案的隐藏状态在区分独特的解决方案路径方面更有效，其困惑度可作为推理正确性的代理。在两个LLM的推理任务上进行的实验表明，APTS能够持续提高解决方案的多样性和鲁棒性。