一篇新论文提出，大型语言模型中的涌现行为是由一种涉及时间尺度态密度（TDOS）重组的物理机制所控制。研究人员使用Pythia语言模型从Transformer层雅可比矩阵中提取了弛豫谱，揭示了慢弛豫模式的渐进积累。这一过程导致了无标度记忆核和记忆自能的瞬时最大值，表明红外慢模组织是Transformer动力学中的一个普遍原理。 AI
影响 提出了Transformer动力学的一个普遍原理，可能指导未来的LLM架构和训练。
排序理由 该集群包含一篇学术论文，详细介绍了关于大型语言模型内部动力学的新理论框架和实验发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
