Ghazal Kalhor

新基准测试大型语言模型对波斯诗歌含义和形式的理解能力

研究人员开发了 GhazalBench，这是一个旨在评估大型语言模型（LLM）在理解和准确复现波斯格律诗（ghazals）的表面形式方面的能力的新基准。该基准测试两项关键能力：理解诗歌含义和在各种提示下访问规范的表面形式。目前的多语言 LLM 存在显著差距，通常能理解含义，但在开放式任务中无法准确完成诗句，尽管在基于识别的任务中有所改进。这种局限性似乎源于训练数据不足而非架构限制，在英语十四行诗上表现更强劲就证明了这一点。