TriviaRoomQA

新的 TriviaRoomQA 基准揭示了大型语言模型在流行文化和多语言知识方面存在困难

一个名为 TriviaRoomQA 的新的多语言基准已被开发出来，用于测试大型语言模型 (LLM) 在 288 个主题上的日常知识和文化细微差别。该基准包含六种欧洲语言的问题，并特别关注法语，结果显示，虽然大型语言模型在历史和地理等事实领域表现出色，但在音乐、电影和名人等流行文化主题方面却举步维艰。不同语言的表现也存在显著差异，这表明大型语言模型的知识并非总是独立于语言的。