Adaptive Self-Consistency

新的自适应一致性方法通过分布值反馈提高 LLM 效率

研究人员开发了一种名为自适应一致性（ASC）的新方法，该方法通过利用分布值反馈来提高大型语言模型（LLM）的效率。与将 LLM 视为黑盒的传统自适应一致性不同，ASC 利用模型输出的对数概率，以更少的采样轨迹识别最可能的答案。所提出的 ASC-D 算法通过顺序采样轨迹并达到模态答案的期望置信水平后停止来实现这一点。这种方法在轨迹使用量上显示出显著减少，在 MMLU-Redux 上的实验表明，与现有方法相比，轨迹数量减少了 46.4% …