GPS-Bench

新的GPS-Bench基准使用现实世界证据评估LLM策略分析

研究人员推出了一款名为GPS-Bench的新基准，旨在评估基于大型语言模型（LLM）的模拟在策略分析中的有效性。该基准将参与者行为建立在来自立法记录、游说披露和公司备案的现实世界证据之上，超越了简单的原型。GPS-Bench允许对不同的多智能体模拟方法进行受控比较，包括联合推理和微调，以确定何时这些方法能够改进策略结果的预测和解释。