MT-InfoSeek

新的研究套件MT-InfoSeek评估大型语言模型在询问缺失信息方面的能力

一篇新研究论文介绍了一个新颖的评估套件MT-InfoSeek，旨在评估大型语言模型（LLMs）在面对不明确的用户查询时，识别和请求缺失信息的能力。研究发现，虽然大型语言模型能够认识到需要更多数据，但它们总是低估所需数据的数量，并且常常无法获取足够的信息来确定唯一答案。此外，模型询问信息的顺序会显著影响准确性，即使最终收集了所有必要的数据。这项研究强调，多轮信息检索能力与生成答案的能力不同，并且目前的LLM评估未能充分衡量这些能力。