Confidence Dynamic Gain (CDG)

新方法通过分析置信度动态来优化 LLM 推理

两篇新的研究论文提出通过分析大型语言模型（LLM）在推理过程中的置信度水平来优化其推理时间的方法。第一篇论文 EAGer 使用了 token 级熵来动态分配计算资源，仅在不确定性高时才分支到多个推理路径。第二篇论文置信度动态增益（CDG）观察到，正确的推理轨迹往往会随着时间的推移而提高置信度，而错误的轨迹则会下降，并利用这种动态来选择更好的答案。这两种方法在复杂推理基准测试中都显示出显著的性能提升和计算量减少。