Attention Collapse
PulseAugur coverage of Attention Collapse — every cluster mentioning Attention Collapse across labs, papers, and developer communities, ranked by signal.
-
研究发现：拆分联邦微调面临深度-性能困境
一篇新研究论文提出了大型语言模型（LLM）拆分联邦微调（SFF）中的“深度-性能困境”。该困境表明，虽然SFF中更深的 模型分区可以提高系统效率和隐私性，但会导致微调质量灾难性下降。该研究测试了从GPT-2到Llama 3-8B的模型，发现标准的联邦学习聚合方法无法解决此问题，并将性能下降归因于Transformer固有的拓扑结构和称为“注意力崩溃”的现象。
-
新的 D-SCAN 方法通过注意力崩溃检测 RAG 投毒
研究人员开发了一种名为 D-SCAN 的新方法来检测检索增强生成（RAG）系统中的投毒攻击。这些攻击通过将恶意文档注入 RAG 的上下文来操纵其输出。依赖输出不确定性的传统检测方法通常无效，因为被投毒的生成可能显得过于自信。然而，D-SCAN 监控语言模型的内部注意力动态，识别出一种称为“注意力崩溃”的现象，即注意力过度集中在被投毒的文档上。该框架轻量级，并在各种攻击基准测试中显示出有效性，甚至能检测到不改变最终输出的攻击。
-
新的贝叶斯惩罚可逆转语言模型中的注意力崩溃
研究人员开发了一个名为贝叶斯重复惩罚（Bayesian Repetition Penalty）的新框架，以解决自回归语言模型中注意力崩溃的问题。这种病理会导致模型陷入重复循环。该框架通过将生成过程中标记的观察频率与其语料库先验进行比较来工作，并使用相邻条件概率构造。这种方法允许一个封闭形式的logit偏移，可以作为冻结的输出层偏差应用，从而在不改变其训练管道的情况下有效修复崩溃的模型。实验表明，该技术可以在保持生成质量的同时显著减少重复。