Sierpiński triangle

大型语言模型在复杂规划任务中难以维持内部世界模型

研究人员调查了大型语言模型为何在汉诺塔等规划谜题上遇到困难，特别是初始状态和目标状态复杂的变体。通过在预先计算好的解决方案上训练较小的 Transformer 模型，他们发现这些模型会发展出对谜题状态空间的一种涌现的“世界模型”，这对解决问题至关重要。然而，当将此应用于 Qwen3.6-27B 和 DeepSeek-R1-Distill-Qwen-32B 等更大的模型时，研究表明，虽然这些模型编码了类似的世界模型，但由于在规划过程中该…