MMLUPro

新框架模拟LLM委托契约和技术选择

研究人员开发了一个新框架，用于模拟委托人-代理人问题，其中代理人从具有不同成本-能力特征的各种技术中进行选择。该模型特别适用于大型语言模型（LLMs），在这种模型中，代理人必须同时选择模型和努力程度，例如代币预算。该研究推导出了委托人的最优线性契约，表明阈值奖励份额可以激励代理人切换技术。该模型使用在MATH和MMLUPro基准测试上的开放权重LLMs进行了校准，表明简单的线性契约可以有效地管理代理工作流中的复杂委托。