Yannis Karmim

研究发现，LLM因预训练限制而在多跳推理方面遇到困难

一篇新发表在arXiv上的研究论文探讨了大语言模型（LLMs）在执行多跳推理方面的局限性。该研究题为“多跳知识组合受预训练暴露的限制”，证明了即使在单个事实已知且可检索的情况下，LLMs在复杂的推理任务上也遇到困难。研究人员发现，这种失败根源于预训练阶段，因为在训练期间接触过组合式上下文的模型在未见过的组合式问题上表现更好，而未接触过的模型则继续失败。