FinDendro

LLMs 在金融回测中的时间自我认知测试中失败

开发了一个名为 FinDendro 的新基准来测试大型语言模型 (LLM) 在金融回测中的时间自我认知能力。该基准包含 1999 年至 2026 年的 2,226 个美国事实，显示 LLM 在被问及过去事件时，常常低估自己的知识量。例如，GPT-5 正确回答了 76% 的受控事实，但仅声称了解 38%，即使如此，它也正确回答了它声称不知道的 61% 的事实。研究表明，自我报告、从过去日期回答的指令或声明的知识截止日期不足以保证无泄漏的金融回测。