GPT-J
PulseAugur coverage of GPT-J — every cluster mentioning GPT-J across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
研究：微调大型语言模型会显著侵蚀知识编辑
一篇新的研究论文探讨了大型语言模型（LLMs）中知识编辑（KE）与微调的相互作用。研究表明，对已编辑模型进行微调通常会导致所应用编辑的显著衰减，其中像GPT-J上的AlphaEdit等方法会损失超过25%的有效性。研究表明，仅微调已编辑的层可以消除这些编辑，同时对整体性能的影响最小，并且令人惊讶的是，微调未编辑的层会导致更大的编辑衰减。这项工作强调了在完整的LLM应用流程中评估知识编辑技术的重要性，以确保编辑的持久性并解决潜在的安全问题。
-
AI研究区分位置注意力头与符号注意力头
研究人员分析了Transformer模型中注意力头的学习动态，特别是比较了位置推理和符号推理任务。他们发现成功的学习与“纯粹”注意头（即仅执行位置或符号功能）的出现相关。研究强调，与位置机制相比，符号机制在鲁棒性和对更长序列的外插能力方面表现出更强的能力，而位置机制面临更显著的局限性。
-
研究人员探索 Transformer 模型的权重衰减、上下文学习和加速方法
研究人员开发了几种新方法来提高 Transformer 模型的效率和理论理解。一篇论文提供了权重衰减的功能分析表征，展示了其在塑造损失景观和提高泛化能力方面的作用。另一项研究调查了 Transformer 在上下文学习过程中如何适应不同的任务难度，证明了在分布变化下的最优收敛率。此外，两篇论文提出了加速 Transformer 推理的技术：一篇使用门控子空间推理来减少内存带宽，另一篇介绍了 LEAP，一个支持层级早期退出的预训练目标，…
-
研究人员通过注意力控制和算法捕获探索高效 Transformer
研究人员正在探索提高 Transformer 效率和理解力的方法。一篇论文引入了预算注意力分配（Budgeted Attention Allocation），这是一种允许成本-质量权衡的头门控机制。另一项研究定义了 Transformer 中的算法捕获（algorithmic capture），并分析了它们的计算复杂性，表明存在一种归纳偏见，反对更高复杂度的过程。此外，关于 Transformer 中局部注意力的工作证明了其表达能力以…