PulseAugur
中
实时 12:47:31
实体 Hard-Routed MoR-LoRA

Hard-Routed MoR-LoRA

PulseAugur coverage of Hard-Routed MoR-LoRA — every cluster mentioning Hard-Routed MoR-LoRA across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_119434 ·

    新的硬路由MoR-LoRA框架可高效组合推理适配器

    研究人员开发了一个名为Hard-Routed MoR-LoRA的新框架，用于将独立训练的LoRA适配器组合成一个大型语言模型。该方法采用两阶段过程，其中特定领域的LoRA适配器被训练为推理专家，然后训练一个轻量级路由器，通过硬的top-1路由为每个token选择一个专家。在各种基准测试和模型规模上的实验表明，与软路由混合基线相比，该方法在保留专家行为的同时，所需的训练参数要少得多。