一篇新的研究论文提出了一个框架，用于理解 Transformer 如何学习深度语义依赖，并识别出一种“梯度饥饿”现象，即在优化过程中，这些依赖的误差信号被抑制。这种抑制导致了结构化推理的相变，并解释了思维链（CoT）策略的有效性。研究人员在各种规模的 Transformer 上验证了他们的发现，包括 Llama-3.1-8B 和 Qwen2.5-Coder-7B 等生产模型，并开发了一种新的对比目标，与标准微调相比，在变量绑定任务上的学习效果提高了两倍以上。 AI
影响 为理解和改进大型语言模型学习复杂推理提供了理论基础，有望提高训练效率并在结构化任务上获得更好的性能。
排序理由 学术论文，详细介绍了理解模型行为的新理论框架和实验验证。[lever_c_demoted from research: ic=1 ai=1.0]
- Chain-of-Thought
- cross entropy
- Gradient Starvation
- large-language models
- Llama-3.1:8b
- Qwen2.5-Coder 7B
- transformers
- variable binding tasks
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
