PulseAugur
中
实时 10:34:15
English(EN) Learning to Select, Not Relearn: Hard-Routed Mixtures of Reasoning LoRAs

新的硬路由MoR-LoRA框架可高效组合推理适配器

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一个名为Hard-Routed MoR-LoRA的新框架，用于将独立训练的LoRA适配器组合成一个大型语言模型。该方法采用两阶段过程，其中特定领域的LoRA适配器被训练为推理专家，然后训练一个轻量级路由器，通过硬的top-1路由为每个token选择一个专家。在各种基准测试和模型规模上的实验表明，与软路由混合基线相比，该方法在保留专家行为的同时，所需的训练参数要少得多。 AI

影响 该方法可以通过组合专门的、独立训练的适配器，实现更高效的大型语言模型适应。

排序理由 研究论文，详细介绍了一种组合LoRA适配器的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的硬路由MoR-LoRA框架可高效组合推理适配器

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Seyed Alireza Molavi, Zhan Su, Yan Hu, Peyman Sheikholharam Mashhadi, Stefan Byttner, Prayag Tiwari ·

    Learning to Select, Not Relearn: Hard-Routed Mixtures of Reasoning LoRAs

    arXiv:2606.31413v1 Announce Type: new Abstract: Composing independently trained LoRA adapters into a single large language model is useful for multi-domain adaptation, especially when the original training data cannot be shared. A common approach is to use MoE-style routing over …

  2. arXiv cs.LG TIER_1 English(EN) · Prayag Tiwari ·

    Learning to Select, Not Relearn: Hard-Routed Mixtures of Reasoning LoRAs

    Composing independently trained LoRA adapters into a single large language model is useful for multi-domain adaptation, especially when the original training data cannot be shared. A common approach is to use MoE-style routing over LoRA experts, but for frozen pretrained adapters…

相关实体

相关话题