VakyArth

新基准揭示大型语言模型在印度语言和翻译机制方面存在困难 · 跟踪3个来源

研究人员开发了VakyArth，这是一个新的基准，旨在评估大型语言模型（LLMs）在印地语、旁遮普语、泰米尔语和马拉雅拉姆语等印度语言中的语用能力。初步研究结果显示，在解释这些语言中通过上下文和文化习俗暗示的含义时，大型语言模型存在持续的失败，并且在不同语言和任务中的表现差异很大。此外，另一项独立研究对多语言大型语言模型中“潜在语言”的解释提出了质疑，认为当前的探测可能揭示了多语言处理的不同方面，而不是单一的内部通用语。另一篇论文提出…