研究人员开发了新的基准来评估大型语言模型（LLMs）在金融领域的时间知识边界。其中一篇论文提出的 FinCutBench 使用 2023 年 1 月至 2026 年 9 月的问答数据集，衡量固定模型在日历时间上的金融知识范围。另一个基准 FinDendro 使用 1999 年至 2026 年的美国金融事实数据来测试 LLMs 的时间自我知识。两项研究都表明，LLMs 经常声称拥有的知识少于其实际拥有的，并且常见的保护措施（如声明知识截止日期或自我报告）不足以防止金融回测中的事后偏见。 AI
影响 这些基准突显了需要更强大的评估方法，以确保 LLMs 在时间敏感的金融应用中的可靠性。
排序理由 该集群包含两篇学术论文，介绍了用于评估 LLM 知识的新基准。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2611.11588v2 Announce Type: replace Abstract: In financial backtesting and other point-in-time tasks, external inputs can be restricted by date, but model parameters may retain financial facts disclosed later, introducing parametric look-ahead bias. We introduce FinCutBench…
Financial backtests of large language models (LLMs) are meaningful only if the model did not already know the outcomes it is asked to predict. Practitioners guard against this by trusting a vendor's stated knowledge cutoff, by asking the model what it knows, or by instructing it …