transformer language models
PulseAugur coverage of transformer language models — every cluster mentioning transformer language models across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新方法高效恢复神经网络组件
研究人员开发了一种名为定向参数分解（tPD）的新方法，以提高分析神经网络组件的效率。传统的参数分解（PD）计算成本高昂，而tPD只关注处理特定感兴趣输入的特定组件。该方法在处理在The Pile上训练的Transformer语言模型时进行了测试，成功识别并分离了计算电路。该方法显著减少了所需的计算资源，仅使用完整分解所需FLOPs的7%就提取了一个子模型，并允许精确操作已记忆的序列，同时对其他功能影响最小。
-
新方法估算语言模型容量为每参数 3.6 比特
研究人员开发了一种新颖的方法来量化语言模型的记忆容量，区分了无意记忆和泛化。他们的发现表明，GPT 类模型拥有大约每参数 3.6 比特的容量。研究观察到，模型会一直记忆数据直到其容量被填满，之后开始泛化，记忆量随之下降。这项涉及数百个 Transformer 模型的研究，建立了将模型容量和数据大小与成员推断联系起来的标度律。
-
新研究追踪Transformer语言模型中的心理化和情境建模能力
一篇新研究论文探讨了Transformer语言模型（特别是Olmo2和Pythia系列）在情境建模和心理化能力方面的发展。研究发现，在错误信念任务（FBT）上的准确表现取决于模型大小和训练量，并且在预训练过程的后期出现。虽然训练后干预可以提高FBT的准确性，但模型仍然表现出脆弱性，易受非事实动词和其他代理的知识状态的影响。研究表明，更大、训练更充分的模型会发展出部分连贯的情境模型，但其心理化能力仍然容易受到特定语言线索的影响。
-
研究将涌现式AI能力与稀疏注意力模式学习联系起来
一篇新的研究论文提出，Transformer语言模型中的涌现能力源于对稀疏注意力模式的随机学习。研究表明，当模型学习到相关的注意力模式时，诸如模式补全和间接宾语识别等能力会突然出现。学习这些模式的难度受上下文长度和稀疏性的影响，扩展注意力头可以提高效率，而MLP-Mixer在特定任务上显示出潜力。
-
基于能量的Transformer在预测阅读难度方面显示出潜力
研究人员引入了一类新的Transformer模型，称为基于能量的Transformer，它们与联想记忆模型建立了正式联系。在计算心理语言学中，这种能量度量已被证明是跨多个语料库的阅读难度的有力预测因子。该研究表明，这一单一能量度量可能统一先前依赖于惊奇度（surprisal）和注意力熵（attention entropy）等多个互补预测因子的方法。
-
持久同调跟踪微调过程中大型语言模型的表征变化
研究人员采用持久同调来分析大型语言模型在监督微调过程中的内部表征动态。他们的研究检查了四种 Transformer 模型（10亿至70亿参数）和三种对齐目标（有益、无害、混合），发现大多数拓扑变化发生在训练早期，随后趋于稳定。研究结果表明，不同的对齐目标会导致不同的拓扑轨迹，并且经过指令微调的模型与预训练模型演变方式不同，这为超越行为指标的模型对齐提供了新的视角。
-
新框架揭示了Transformer模型特征表示的几何限制
研究人员开发了一个新框架，用于理解Transformer语言模型中特征表示的几何限制。通过分析嵌入矩阵及其与近乎正交的偏差，他们识别出两类模型：偏差高、缺乏结构的模型，以及偏差低、保持结构的模型。这项工作提炼了对表示能力的理解，表明其对正交性约束呈指数级敏感，并且更大的模型优先考虑更严格的约束而非最大化原始能力。
-
研究揭示大型语言模型在抑制下仍保留隐藏概念
一篇新研究论文探讨了基于指令的抑制在大语言模型中的有效性，发现尽管模型可以被训练来避免表达禁止内容，但底层概念仍可从其内部表征中恢复。该研究在各种Transformer模型上利用了表征探测、注意力分析和行为语义泄露实验。结果表明，即使在成功进行词汇规避的情况下，禁止概念仍会影响注意力路由并塑造下游生成，揭示了这些模型在行为和表征对齐之间存在显著差距。
-
新型GiLT模型使用依赖图增强Transformer语言模型
研究人员开发了一种新型Transformer语言模型GiLT，该模型整合了依赖图以增强句法泛化能力。与添加结构化标记的先前方法不同，GiLT通过根据增量构建的依赖图中的特征修改注意力权重来整合语言信息。实验表明，GiLT，特别是使用语义依赖图时，与标准的Transformer模型相比，在句法泛化和困惑度方面均表现出色。该模型还可以从预训练模型进行微调，以提高在下游任务上的性能。
-
Stochastic KV Routing enables adaptive depth-wise cache sharing for LLMs
研究人员开发了一种名为 Stochastic KV Routing 的新方法，以减小 Transformer 语言模型的内存占用。该技术通过训练层随机关注先前层的 KV 状态，从而实现自适应的深度缓存共享。评估表明，该方法可以在不牺牲性能的情况下显著降低内存需求，甚至可以在数据受限的情况下充当一种正则化方法。