Mistral-3.1-24B

新的基准测试用于评估大型语言模型对丹麦文化遗产的理解能力

研究人员开发了SDUs DAISY，一个旨在评估大型语言模型对丹麦文化遗产理解能力的新基准测试。该基准测试源自2006年丹麦文化名录和维基百科，包含741个经过人工验证的问答对，涵盖了广泛的文化制品。初步测试显示，包括Llama-3.3-70B和GPT-OSS-120B在内的当前模型表现不佳，表明该基准测试的挑战性。数据集和评估工具可在Hugging Face Datasets上公开获取。