Glue
PulseAugur coverage of Glue — every cluster mentioning Glue across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新方法降低嵌入式GPU上SLM微调的能耗
研究人员开发了一种面向资源受限嵌入式设备的SLM（小型语言模型）微调的能效方法。该研究在GLUE基准测试上对BERT和Pythia变体进行了微调行为的表征，并提出了基于机器学习的模型选择，以优化GPU DVFS设置。在NVIDIA Jetson AGX Orin上的实验表明，与默认的MAXN模式0相比，平均能耗节省了13.11%，节省幅度高达26.73%。
-
SAD-LoRA 通过谱对齐改进低秩知识蒸馏
研究人员推出了一种新颖的低秩知识蒸馏方法 SAD-LoRA，该方法专注于对齐适配器权重子空间的谱属性。该方法旨在通过确保适配器占据教师模型更新的相关子空间来改进参数高效压缩。在合成数据和 RoBERTa-large 到 RoBERTa-base 在 GLUE 任务上的蒸馏实验表明，SAD-LoRA 显著增强了子空间对齐和秩效率，在低秩设置下优于现有的谱基线。
-
CrossBERT架构分离表示与重建，实现可扩展文本编码器
研究人员推出了一种新颖的文本编码器架构CrossBERT，旨在克服BERT类模型的局限性。与BERT将表示学习与token重建混淆不同，CrossBERT将这两个目标分开。这种架构改变允许更高的掩码比例和改进的梯度收集，从而使吞吐量提高1.5倍至2倍，样本效率提高2倍。CrossBERT在MTEB(eng, v2)和frozen GLUE等基准测试中表现出持续的扩展性和卓越的性能。
-
ITNet架构统一了卷积、注意力和循环
研究人员推出了一种新颖的神经网络架构ITNet，它将卷积、注意力和循环统一为一种可学习的积分变换。该架构使用一个可学习的核（实现为MLP）来模拟成对交互，使其能够根据数据调整其行为。通过调整参数，ITNet可以恢复各种现有架构的功能，包括LSTM、GRU、S4、Mamba和自注意力。该模型在ImageNet-1K、GLUE、ModelNet40、VQA v2和NLVR2等多个基准测试中都表现出具有竞争力或更优的性能。
-
新的混合目标改进语言模型表示
研究人员为语言模型引入了一种新颖的自监督学习目标，该目标结合了掩码语言建模（MLM）和联合嵌入预测架构（JEPA）方法。这种混合方法旨在鼓励表示捕捉更深层次的语义结构，而不仅仅是表面标记的身份。在Wikipedia和GLUE基准上的实验表明，即使下游准确性指标相似，混合模型也能产生更均匀的嵌入和更好的语义-词汇平衡。
-
新研究探索用于LLM微调和预训练的高级掩码技术
研究人员正在探索新颖的掩码策略，以改进大型语言模型的微调和预训练。一种方法EKSFT在监督微调期间选择性地掩盖高熵或KL散度高的token，以保留模型的预训练分布并增强后续的强化学习探索。另一种方法侧重于掩码语言建模的熵感知掩码，识别信息量大和不确定的token，以提高训练效率并取得性能提升。第三种策略语义掩码专家策略优化（SMEPO）在专家指导的强化学习中使用细粒度的语义掩码，通过强制模型重建被掩盖的与奖励相关的信息来防止奖励黑客行…
-
PEML方法优化LLM提示和权重以实现多任务学习
研究人员推出了一种新的大型语言模型参数高效多任务学习方法PEML。PEML同时优化连续提示和模型权重，解决了LoRA和Prefix Tuning等现有方法的局限性。在GLUE和MMLU等基准测试中与最先进技术进行的评估显示，PEML的平均准确率提高了高达6.67%。
-
新的SWAP-Score指标可在无需训练的情况下评估神经网络
研究人员推出了一种新颖的零样本指标SWAP-Score，该指标无需训练即可评估神经网络。该方法使用样本激活模式来衡量网络的表达能力，并在包括CNN和Transformer在内的各种架构中表现出强大的预测性能。SWAP-Score在计算机视觉和自然语言处理任务中显著优于现有指标，与真实性能高度相关，并能实现更快的神经架构搜索。
-
新的AS-LoRA方法提高了联邦学习的隐私性
研究人员开发了AS-LoRA，一种用于隐私保护联邦学习中LoRA组件自适应选择的新型框架。该方法通过允许每一层独立选择其活动组件并在通信轮次中调整这些选择来解决此类设置中常见的聚合错误。AS-LoRA在不增加隐私成本的情况下，理论上提高了收敛速度和准确性，并在GLUE和SQuAD等基准测试中取得了显著的进步。
-
LoRA 微调详解：为什么低秩能有效适配大语言模型
本文解释了大语言模型微调的内在低秩假设，详细说明了 LoRA 等技术如何在不改变原始权重的情况下适配模型。文章阐明，LoRA 的表达性更新仅限于秩 r 的子空间，这意味着如果更高的秩超过了任务的内在秩，性能不一定会提高。作者提供了一个可运行的脚本和实证结果，以展示 LoRA 的秩如何影响其拟合必要更新子空间的能力，并表明过度参数化会导致噪声。
-
Lambda 及其他下游服务绕过了 AWS MCP 服务控制
AWS 推出了新的 IAM 上下文密钥 aws:ViaAWSMCPService 和 aws:CalledViaAWSMCP，用于跟踪流经其托管 MCP 服务的流量。虽然这些密钥通过防止 MCP 路由的请求直接删除 S3 对象来增强安全性，但它们不会传播到 Lambda 等下游服务。这意味着，即使是由 MCP 路由的请求调用的 Lambda 函数中的代码，如果其自身的执行角色允许，仍然可以执行删除 S3 对象等操作。文章强调，这不是一…
-
AdaFRUGAL论文介绍了用于内存高效LLM训练的动态控制
研究人员开发了AdaFRUGAL，一个旨在提高大型语言模型（LLM）训练内存效率的新框架。与之前需要手动调整超参数的方法不同，AdaFRUGAL使用动态控制来自动化这一过程。它采用子空间比率的线性衰减和用于更新频率的感知损失调度，已被证明可以在减少GPU内存和训练时间的同时保持具有竞争力的性能。
-
新的硬件设计为边缘AI提供高效的Softmax和LayerNorm
研究人员开发了用于Transformer模型在边缘设备上运行的、硬件高效的Softmax和Layer Normalization的近似方法。这些方法确保了保证归一化，这对于边缘NLP和生成式AI应用中以得分为导向的任务至关重要。所提出的架构采用Verilog HDL实现，并在28nm CMOS工艺上合成，与现有解决方案相比，其精度下降极小，面积也显著减小。
-
LoRA微调研究表明秩1已足够，并提出数据感知初始化方法
三篇新研究论文探讨了优化大型语言模型LoRA微调的方法。其中一篇论文提出将LoRA秩阈值降低到1，用于二分类任务，并显示出与更高秩相当的性能。另一项研究引入了一个基于Fisher的框架，该框架利用数据感知敏感性来选择最优LoRA子空间，从而提高下游性能。第三篇论文分析了LoRA权重更新的谱结构，发现低频分量占主导地位，并建议将谱稀疏性作为参数高效微调的设计原则。