variable binding tasks

新理论解释 Transformer 语义学习，提出跳过 CoT 的方法

一篇新的研究论文提出了一个框架，用于理解 Transformer 如何学习深度语义依赖，并识别出一种“梯度饥饿”现象，即在优化过程中，这些依赖的误差信号被抑制。这种抑制导致了结构化推理的相变，并解释了思维链（CoT）策略的有效性。研究人员在各种规模的 Transformer 上验证了他们的发现，包括 Llama-3.1-8B 和 Qwen2.5-Coder-7B 等生产模型，并开发了一种新的对比目标，与标准微调相比，在变量绑定任务上的…