Khoury College of Computer Sciences

新基准InvestPhilBench测试LLM在投资理念中的程序化推理能力

研究人员推出了InvestPhilBench，这是一个旨在评估大型语言模型（LLM）在专家投资理念领域程序化推理能力的新基准。该基准的v0.6版本包括了经过验证的投资原则卡、决策框架卡和问答题，以及一个自动评分管道（BASP）和故障模式检测协议。对四种模型的初步测试显示，前沿模型与其他模型之间存在显著的性能差距，综合得分在前沿模型上趋于饱和，但门重构准确率（GRA）等特定指标仍表明存在程序化缺陷。