研究人员开发了一种名为算法核心提取 (ACE) 的新方法，用于识别 Transformer 模型内的基本计算结构。该技术分离出对任务至关重要且在不同训练运行和模型架构中一致出现的紧凑子空间。通过分析这些不变的核心，研究表明像 GPT-2、LLaMA-3.1、Gemma-2 和 Qwen2.5 这样的大型语言模型在语法数字处理方面共享一个共同的底层结构，并且可以通过操纵该结构来改变文本生成。 AI
影响 这项研究通过识别大型语言模型的核心计算结构，为更好地理解和控制它们提供了途径。
排序理由 该集群包含一篇学术论文，详细介绍了一种分析 Transformer 模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
