KoSimpleQA

新的韩语 LLM 基准 KoSimpleQA 揭示了显著的事实性差距

研究人员推出了 KoSimpleQA，这是一个旨在评估大型语言模型 (LLM) 在韩语文化知识方面事实性的新基准。该基准包含 938 个简短、寻求事实且答案明确的问题。初步评估显示，即使是支持韩语的最佳开源 LLM 在 KoSimpleQA 上的准确率也仅为 31.6%，表明其难度很高。研究还发现，在 KoSimpleQA 上的表现与英语基准显著不同，这表明需要进行特定语言的评估，并且推理能力有助于弥合 LLM 中的跨语言知识差距。