MMMLU

新的依赖性假说：LLM在低资源语言中使用更多推理

一篇新的研究论文提出了“依赖性假说”，认为大型语言模型在可借鉴的文本数据较少时，尤其是在低资源语言中，会更多地依赖其推理能力。通过在八种语言和四种不同模型上的多语言大规模多任务语言理解（MMMLU）基准测试进行的实验表明，这种效应在知识密集型任务中比推理密集型任务更明显。研究表明，虽然模型置信度起作用，但它并不能完全解释观察到的现象，这表明思维链监控在资源较少的语言中最具启发性。