GraphNIAH

新的GraphNIAH基准揭示LLM在长期上下文推理方面存在困难

研究人员推出了GraphNIAH，一个旨在利用真实世界引用图谱测试大型语言模型（LLM）长期上下文推理能力的新基准。与之前的基准不同，GraphNIAH采用在模型知识截止日期之后发表的论文动态构建，防止数据污染并模拟真实的推理挑战。对包括GPT-5.6、Gemini-3.*和Qwen 3.5在内的模型的评估显示，随着推理深度的增加，性能显著下降，即使所有必要信息都存在于上下文中，模型也常常无法找到答案。