Roshan Karanth

新的IndicDBBench基准揭示了大型语言模型在印度语言方面的性能差距

一个名为IndicDBBench的新基准已被开发出来，用于评估大型语言模型（LLMs）在印度语言中的文本到SQL能力。该基准包含20个数据库和跨越七种语言的15,000多个任务，揭示了当模型从英语翻译到印度语言时，LLMs的性能显著下降。这种“Indic Gap”即使在模型提供黄金表和字面值的情况下仍然存在，表明需要进一步开发这些语言的跨语言语义解析能力。