MnlI
PulseAugur coverage of MnlI — every cluster mentioning MnlI across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
MixedPEFT结合多种PEFT方法实现无监督域自适应
研究人员开发了MixedPEFT，一种用于语言模型无监督域自适应的新型参数高效方法。该方法结合了多种参数高效微调（PEFT）技术，包括可逆适配器和LoRA，以及一种混合目标训练策略。通过同时优化源域数据的分类性能和目标域数据的掩码语言建模，MixedPEFT能有效适应新域并保留目标知识。在MNLI数据集上跨20个域迁移的评估显示，与现有方法相比有显著改进，为参数高效自适应树立了新标杆。
-
新的CAHP方法修剪Transformer注意力头以提高效率
研究人员推出了一种新颖的后验框架——互补注意力头修剪（CAHP），旨在提高Transformer模型的效率。与现有方法通常依赖不稳定的基于梯度的排序或手动调整不同，CAHP将头选择视为一个全局图论问题。它使用基于图的聚类和信息论度量来识别一个多样化且拓扑结构合理的注意力头子集，自动确定每层的最佳头数。在SST-5和MNLI基准上的评估表明，CAHP的性能优于其他方法，尤其是在高压缩场景下，它通过保留关键的中间层头而不是仅保留靠近输出的…
-
新的AS-LoRA方法提高了联邦学习的隐私性
研究人员开发了AS-LoRA，一种用于隐私保护联邦学习中LoRA组件自适应选择的新型框架。该方法通过允许每一层独立选择其活动组件并在通信轮次中调整这些选择来解决此类设置中常见的聚合错误。AS-LoRA在不增加隐私成本的情况下，理论上提高了收敛速度和准确性，并在GLUE和SQuAD等基准测试中取得了显著的进步。
-
LoRA微调研究表明秩1已足够，并提出数据感知初始化方法
三篇新研究论文探讨了优化大型语言模型LoRA微调的方法。其中一篇论文提出将LoRA秩阈值降低到1，用于二分类任务，并显示出与更高秩相当的性能。另一项研究引入了一个基于Fisher的框架，该框架利用数据感知敏感性来选择最优LoRA子空间，从而提高下游性能。第三篇论文分析了LoRA权重更新的谱结构，发现低频分量占主导地位，并建议将谱稀疏性作为参数高效微调的设计原则。
-
大型语言模型利用内部置信信号检测和纠正错误
研究人员调查了大型语言模型如何在没有外部输入的情况下识别和纠正自身错误，并将其与决策神经科学中的二阶置信模型进行了类比。他们的发现表明，一个在回答后缓存的特定内部信号在错误检测和自我纠正中起着至关重要的作用，其作用超越了简单的 token 对数概率。该信号不仅表明可能存在错误，还表明模型是否拥有修复该错误所需的知识，Gemma 3 27B 和 Qwen 2.5 7B 模型通过实验证明了这一点。