De Bruijn graph

新理论将大语言模型推理与De Bruijn图联系起来

研究人员提出，大语言模型中的模式识别和逐步推理存在一个连续统一体。他们引入了De Bruijn图的概念来模拟推理轨迹，并提出当数据结构化使得下一个词元仅依赖于最少的先前上下文时，大语言模型就能学会逐步推理。对Qwen2.5-1.5B-Instruct的实证测试表明，适度的状态密度可以平衡准确性和鲁棒性，而Qwen3模型即使在注意力窗口受限的情况下也能保持显著的准确性。