BANGLAPLAN

新的BANGLAPLAN基准测试评估孟加拉语LLM规划能力

一个名为BANGLAPLAN的新基准测试已被开发出来，用于评估大型语言模型在孟加拉语中进行基于约束的规划和决策的能力。该基准测试包含十个任务家族的1000个问题，旨在反映孟加拉国的现实生活场景，并涵盖各种语言风格和答案格式。初步评估显示，GPT-6.1 Sol等领先模型（准确率达到98.7%）与其他模型之间存在显著的性能差距，许多模型的得分低于简单的基线。