Uncertainty-Aware Allocation

新的UAA框架将LLM树搜索效率提升90%

研究人员开发了一个名为不确定性感知分配（UAA）的新框架，以提高大型语言模型（LLM）树搜索的效率。UAA将价值与不确定性分离，利用兄弟动作的语义分散来预测答案冗余并动态分配计算预算。该方法在各种推理和规划基准测试中，将令牌使用量和延迟分别显著降低了高达90%和9倍，同时保持了可比的准确性。UAA是一个无需训练的框架，可以跨不同的树搜索算法和LLM类型进行泛化。