Zhaomeng Zhou

新框架优化大型推理模型的计算效率

研究人员开发了一个名为预算高效思维（BET）的新框架，以优化大型推理模型（LRM）使用的计算资源。与以往关注感知难度的旧方法不同，BET将适应性推理视为不确定性下的投资，根据预期回报分配预算。这种方法使LRM能够简洁地回答简单查询，放弃无望的推理路径，并将足够的资源投入到具有挑战性但可解决的问题上。在七个基准测试和三个基础模型上的实验表明，BET可以将推理令牌减少54%，同时将准确率提高高达3.2%。