prefix reader

LLM基准测试存在缺陷：作者承认任务不需要完整的文档覆盖

作者开发了一个基准测试，用于检验LLM是否真正需要完整的文档覆盖才能完成复杂的检索任务，还是仅凭上下文窗口就足够了。最初，该基准测试似乎表明需要完整的文档覆盖，但这是由于一种有缺陷的设计，该设计仅测试了文档的前缀。当基准测试得到修正，加入了后缀读取器以及一项需要跨文档部分广泛检索的任务时，它揭示出LLM在先前认为需要完全访问文档的任务上表现出人意料地好，这表明对于某些任务，只需要文档的特定部分。