SimpleWikiSearch

新的SimpleWikiSearch环境标准化了LLM代理搜索评估

研究人员推出SimpleWikiSearch，这是一个新的离线环境，旨在标准化大型语言模型（LLM）代理搜索系统的评估。该环境规定了语料库构建、检索堆栈、工具接口和评估协议，以确保不同研究的可重复性和可比性。SimpleWikiSearch使用经过清理和分块的英文维基百科转储，并带有关键字和密集检索索引，为代理任务提供了一个最小化的工具接口。提供了使用开源LLM在六个QA数据集上的基线结果，以及一个用于与商业模型进行比较的子集。