PredicateLongBench

新的基准 PredicateLongBench 探测 LLM 长上下文的局限性

研究人员推出了 PredicateLongBench，这是一个新的基准，旨在通过测试大型语言模型识别满足特定谓词的最长连续单词子序列的能力来评估其长上下文能力。与通常衡量平均性能的现有基准不同，PredicateLongBench 系统地探索了各种难度轴来探测模型的局限性。该基准利用合成和真实世界的数据管道，揭示了当前前沿模型在这些更具挑战性的长上下文任务中存在困难。