TriviaRoomQA

新的TriviaRoomQA基准揭示大语言模型在流行文化和多语言知识方面存在困难

一个名为TriviaRoomQA的新多语言基准已被开发出来，用于测试大语言模型（LLMs）在288个主题上的日常知识和文化细微差别。该基准包含六种欧洲语言的问题，以及另一套法语问题，评估模型在从历史、地理到流行文化（如名人、音乐）等主题上的表现。对30个开源大语言模型的初步评估显示，尽管模型在事实性主题上表现出色，但在流行文化方面却遇到困难，并且在不同语言之间表现出差异，这表明事实知识并非总是与语言无关。