PulseAugur
中
实时 18:49:17
实体 Glue

Glue

PulseAugur coverage of Glue — every cluster mentioning Glue across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
14
90 天内 46
发布 · 30天
0
90 天内 0
论文 · 30天
14
90 天内 43
层级分布 · 90 天
主题
关系
情绪 · 30 天

3 天有情绪数据

最近 · 第 1/3 页 · 共 51 条
  1. RESEARCH · CL_366149 ·

    新的 RASA 框架优化了联邦学习以满足不同的客户端需求

    研究人员开发了接收器感知子空间自适应(RASA)框架,这是一种用于联邦学习的新框架,解决了最优矩阵重建与客户端特定需求之间的不匹配问题。RASA 在接收器加权更新响应上使用主成分分析,以确保分布式更新对每个客户端最有效,即使在资源预算各不相同的情况下也是如此。实验表明,RASA 在 DomainNet-100 和 SuperNI 等数据集上提高了准确性,在异构条件下优于现有方法。

  2. TOOL · CL_344306 ·

    新的无投影方法增强了NLP任务的连续提示搜索

    研究人员开发了一种用于自然语言处理中连续提示搜索的新方法,该方法无需随机投影。这种基于进化策略的无投影方法直接在完整的提示空间中进行优化,并适应问题的内在维度。该方法还包含一个基于置信度的正则化机制,以提高少样本泛化能力。在七个GLUE基准任务上的实验表明,这种新方法显著优于现有基线。

  3. TOOL · CL_344303 ·

    新的IBIS方法表明词序对语言模型的重要性较低

    一种名为迭代式推理(IBIS)的新方法已被开发出来,用于研究词序在语言模型中的作用。研究人员发现,对于许多自然语言处理任务和文本类型,打乱句子中的词语顺序并不会显著改变所传达的信息。IBIS是一种高效的程序,可以在固定语言模型下识别出可能性最高的词序,它作为一个黑盒工具运行,无需额外训练。这项技术可以改进语言建模和约束生成。

  4. TOOL · CL_344262 ·

    FILO框架统一LLM的低秩适应,提高效率

    研究人员推出FILO,一个新颖的Fisher-几何框架,旨在统一和改进大型语言模型的低秩适应(LoRA)技术。FILO通过提供一种映射预处理方向而不直接求逆的方法,解决了因子空间更新中的奇异算子挑战。该框架对现有的LoRA优化器进行了分类,并提出了FILO-Adafactor,它使用Adafactor预处理器和闭式因子空间求解。这种新方法在包括GPT-2、Mistral-7B和Qwen2-7B在内的各种基准和模型上,均展示出与现有方法…

  5. RESEARCH · CL_324670 ·

    NoiseFormer transformer架构可减小LLM内存占用

    研究人员推出了一种新颖的Transformer架构NoiseFormer,旨在减小大型语言模型(LLM)的内存占用。该新模型在最近的arXiv提交中进行了详细介绍,目标是缓解将庞大模型装入GPU等单个设备所带来的高昂计算成本。NoiseFormer通过引入噪声扩散注意力来提高性能,同时保持了对称注意力机制的内存效率,其GLUE分数证明了这一点。

  6. TOOL · CL_315147 ·

    GaP-MoE 增强了混合专家模型中的专家专业化

    研究人员推出了一种新颖的稀疏混合专家(SMoE)模型方法 GaP-MoE,旨在防止表示坍塌并增强专家多样性。与修改损失函数或路由器架构的先前方法不同,GaP-MoE 直接操纵专家输出梯度。它通过将跟随专家梯度投影到领导专家近期梯度的正交补集上来实现专家专业化,从而在不影响任务目标的情况下消除方向重叠。在基于 BERT 的模型对 GLUE 等微调任务以及在 WikiText-103、enwik8 和 text8 等数据集上从头预训练的基…

  7. TOOL · CL_315040 ·

    新的GRAM方法通过对兼容任务进行分组来合并AI模型

    研究人员开发了GRAM,一种将多个微调AI模型合并成一个更强大模型的 novel 方法。GRAM 解决了“子空间干扰”问题,即合并在不同任务上训练的模型可能导致性能下降。通过在合并前对具有相似几何关系的任务进行分组,GRAM 显著减少了这种干扰,并在语言理解、视觉和医学指令调优任务上优于现有方法。该过程仅需要微调后的权重,使其适用于隐私敏感的应用。

  8. TOOL · CL_301083 ·

    新的 SQUELCH 方法优化 LoRA 以用于 LLM,提升性能

    研究人员推出了一种新颖的低秩自适应 (LoRA) 优化方法 SQUELCH,用于大型语言模型。SQUELCH 基于噪声地板分析动态调整每个 token 的活跃 LoRA 组件数量,而不是使用固定数量。这种方法不增加可训练参数,在常识推理、知识、数学、代码和 GLUE 等各种基准测试中,相比标准 LoRA 提升了 2.2-3.2 个点,相比其他专家混合基线提升了 0.8-1.2 个点。该方法在 LLaMA-3.1-8B、Qwen3 和 …

  9. RESEARCH · CL_298503 ·

    UltraBERT 在分类和检索任务上提升编码器性能

    研究人员开发了UltraBERT,一种新颖的编码器模型,在分类和检索任务上均显著提高了性能。通过对BERT预训练方法的研究,他们发现编码器在数万亿个token之后会饱和,并且掩码比例对分类和检索有不同的影响。UltraBERT通过在批次内为不同的掩码比例采用独立的语言模型头,并将蒸馏限制在较低的掩码比例,来解决这些发现。这种方法使UltraBERT在GLUE和BEIR基准测试中取得了最先进的成果,超越了之前的编码器。

  10. TOOL · CL_289448 ·

    FeatCal 方法提高了合并后 AI 模型的性能

    研究人员开发了 FeatCal,一种用于校准合并后 AI 模型以提高其性能的新颖方法。该技术通过分析和减少特征漂移来解决合并后模型中常见的性能差距,特征漂移发生在合并模型产生的特征与原始专家模型产生的特征不同时。FeatCal 通过逐层校准过程实现这一点,该过程可有效更新模型权重,在 CLIP 和 GLUE 等基准测试中优于 Surgery 和 ProbSurgery 等现有方法。

  11. TOOL · CL_289327 ·

    新的Spora模型提高了脉冲语言模型的效率

    研究人员推出了一种新颖的脉冲语言模型方法Spora,解决了时间编码与非线性计算之间固有的权衡问题。Spora联合设计了脉冲编码和注意力算子,能够更有效地表示语义特征。该模型利用单极二元脉冲(UBS)和双极二元脉冲(BBS)在GLUE和CoLA等基准测试中取得了比现有方法更高的分数。

  12. TOOL · CL_284577 ·

    新的 PiERN 架构将精确计算与大型语言模型相结合

    研究人员开发了一种名为 Physically-isolated Experts Routing Network (PiERN) 的新架构,旨在将高精度数值计算与大型语言模型集成。PiERN 能够在单一的思维链中迭代地交替进行计算和推理,从而提高复杂任务的准确性和效率。在 PDEBench 和电池管理任务等基准测试上的评估表明,PiERN 在准确性、延迟、令牌使用和能耗方面优于直接微调的大型语言模型,同时在 MMLU 和 GLUE 等标…

  13. TOOL · CL_284569 ·

    TabiBERT:发布新的土耳其语基础模型和基准

    研究人员推出了 TabiBERT,一个基于 ModernBERT 架构的新型大规模土耳其语基础模型。该模型在超过一万亿个 token 的海量数据集上进行了训练,涵盖了网络文本、科学出版物和源代码,并支持 8,192 个 token 的上下文长度。为了评估 TabiBERT,开发了一个名为 TabiBench 的新基准,该基准包含八个任务类别中的 27 个数据集。与之前的土耳其语模型相比,TabiBERT 在问答和代码检索任务上表现出了卓越的性能。

  14. TOOL · CL_284259 ·

    新的JIVEAdapter方法提高了LLM微调效率

    研究人员开发了JIVEAdapter,一种用于大型语言模型参数高效微调的新颖方法。与现有的单任务适配器不同,JIVEAdapter将权重更新分解为共享的“联合”结构和任务特定的“个体”结构。这种方法旨在更好地分离共享知识与任务特定的适应性,从而提高可解释性和效率。该方法在使用DeBERTaV3-base模型在GLUE和SuperGLUE基准测试中表现出有竞争力的性能。

  15. TOOL · CL_259344 ·

    Temperon训练方法以更低成本实现SAM质量

    研究人员推出了一种新颖的训练方法Temperon,旨在以显著降低的计算成本实现Sharpness-Aware Minimization (SAM) 的质量。Temperon采用两阶段方法:初始探索阶段使用标准SGD,然后在训练后期切换到SAM包装的Muon精炼器。该方法在CIFAR-10/100和Tiny ImageNet等各种数据集上已证明具有与全时SAM相当的准确性,并能更快地达到目标准确率。该方法在预训练GPT-2和针对GLUE…

  16. TOOL · CL_257040 ·

    仅限法语的 BabyLM 模型揭示分词器敏感性

    研究人员开发了 MéTRON-FR,这是一个仅在法语文本上训练的 1.25 亿参数 GPT-2 模型,在法语特定基准测试中取得了显著分数。当使用跨语言 GLUE 协议进行评估时,该模型在关系任务上有所改进,但在世界知识任务上有所退步。研究还强调了分词器和提示模板在小规模模型性能上的显著影响,强调了对母语基准测试和敏感性分析的必要性。

  17. TOOL · CL_247707 ·

    新研究评估NLP文本分类器的隐私风险

    一项新的arXiv研究评估了训练自然语言处理(NLP)文本分类器相关的隐私风险。研究人员使用TF-IDF + Logistic Regression模型和微调后的DistilBERT分类器,对GLUE SST-2情感数据集进行了成员推断攻击(MIAs)的基准测试。虽然DistilBERT取得了更高的准确率和F1分数,但两种模型都显示出成员信号的泄露。研究还探讨了轻量级缓解技术,发现更强的正则化可以在付出效用代价的情况下减少泄露,而微调…

  18. TOOL · CL_245304 ·

    新的RAPTOR框架增强了MoE AI模型的私有训练

    研究人员开发了RAPTOR,一种用于专家混合(MoE)模型差分私有训练的新颖框架。现有方法将这些稀疏模型视为密集块,导致梯度抑制和更新稀释等问题。RAPTOR通过交替共享和专家优化、采用专家特定裁剪和噪声,以及使用无隐私规则来选择免受路由熵影响的层来解决这些问题。在Switch Transformer和OLMoE等模型上的实验表明,与标准的DP基线相比,性能持续提升,尤其是在更严格的隐私预算下。

  19. TOOL · CL_245238 ·

    Looped GPT-BERT模型在语言建模中用计算换参数

    研究人员开发了一种名为 Looped GPT-BERT 的新型语言模型,该模型在语言和下游任务上取得了与现有模型相当的性能,同时使用的参数更少。这是通过采用深度参数共享和循环遍历来实现的,有效地用计算换参数。该模型在一个有限的英语语料库上进行了训练,并在 BabyLM 2026 Strict-small 设置下进行了评估,在 BLiMP 和 GLUE 等指标上显示出有希望的结果,尽管也注意到了由于循环设计可能在表示空间中存在局限性。

  20. RESEARCH · CL_227270 ·

    新方法增强LoRA在模型适应中的效率和稳定性

    研究人员开发了两种新方法来提高参数高效模型适应中使用的低秩适应(LoRA)技术的效率和稳定性。归一化低秩适应(NoRA)在训练期间对降维矩阵进行归一化,以加速收敛并提高性能,而无需增加参数或计算开销。LoRA的激活边界匹配(ABM-LoRA)使用任务诱导的激活边界符号作为新适配器的目标,提高了LoRA对初始化的敏感度,并在各种基准测试中优于标准LoRA。