TIDE-Bench

新的TIDE-Bench基准评估了大型语言模型在对话式文本到SQL意图漂移方面的表现

研究人员推出了TIDE-Bench，一个旨在评估大型语言模型（LLMs）在对话式文本到SQL任务上的新基准，特别关注链歧义和意图漂移。该基准建立在BIRD数据集的514个锚点SQL之上，包含1,542个样本，并引入了用于识别链歧义和解决意图漂移的指标，超越了简单的执行准确性。使用TIDE-Bench对12个LLMs的评估揭示了在链识别方面存在重大挑战，以及在识别和解决用户意图漂移方面存在显著差距。