Vumi Office

新基准揭示多模态大语言模型在孟加拉语法律土地记录上存在失败

一个名为 KhatianDoc 的新基准已被开发出来，用于评估多模态大语言模型（LLMs）在理解孟加拉语法律土地记录方面的能力。该基准由孟加拉国的 107 份真实土地记录构建而成，包含符号识别、十六进制到十进制转换、结构化字段提取和问答等任务。对六个大语言模型的评估显示存在重大失败，模型无法正确回答近 40% 的问题，并且在涉及土地所有权分数的算术任务上表现不如基线。