OrderProbe

新基准揭示 LLM 在精确文本结构重建方面存在困难

研究人员开发了 OrderProbe，这是一个旨在评估大型语言模型 (LLM) 重建文本精确结构顺序能力的新基准。与允许多种正确重排的先前方法不同，OrderProbe 使用固定的四字符中文、日文和韩文字符串来实现精确匹配评分。对十二个 LLM 的实验显示，即使是先进的模型也难以胜任这项任务，在零样本恢复中的准确率通常低于 35%，这表明语义理解与精确结构重建之间存在差距。