UCB algorithm

新的老虎机框架在预算限制下优化LLM配置评估

研究人员开发了一个新框架，以应对在预算限制下评估大型语言模型（LLM）配置的挑战。该框架将评估过程建模为一个成本感知的多目标老虎机问题，其中每个配置都有相关的成本并产生一个结果向量。提出的方法包括用于在线选择的基于超体积的UCB算法和用于帕累托识别的成本感知经验差距消除算法，两者都旨在在有限预算内优化效率和准确性。在LLM配置任务上的实验结果表明，该方法在高效决策和识别最优配置方面是有效的。