实体
LoRA-MoE
LoRA-MoE
PulseAugur coverage of LoRA-MoE — every cluster mentioning LoRA-MoE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
Localized LoRA-MoE 框架增强参数高效微调
研究人员推出了一种新颖的参数高效微调框架 Localized LoRA-MoE，该框架结合了空间分块和自适应路由。该方法旨在解决现有方法（如 LoRA）的局限性，这些方法可能存在整体瓶颈和梯度冲突问题。提出的架构，即 Block-Wise LoRA-MoE 和 Cell-Wise LoRA-MoE，分别提供集中的宏路由和分散的微路由，以提高模型的适应性和对故障的弹性。基准测试表明，这些方法优于静态基线，为动态模型适应提供了稳健的解决方案。
-
LoRA-MoE深度学习框架通过手写辅助阿尔茨海默病诊断
研究人员开发了一个名为低秩混合专家（LoRA-MoE）的新深度学习框架，用于通过手写分析诊断阿尔茨海默病。该方法利用模型内的专业专家来识别手写模式中反映出的细微认知运动障碍。LoRA-MoE设计通过减少可训练参数和提高稳定性，与传统的MoE模型相比，提高了效率，使其成为一种计算高效的早期筛查解决方案。
-
新的DMEP框架剪枝LoRA-MoE专家以提高效率和准确性
研究人员开发了一个名为DMEP的新框架，用于高效微调LoRA-MoE模型。该方法在每个模块的基础上动态剪枝低效专家，从而创建更紧凑和专业化的模型结构。通过在初始训练后移除负载均衡约束，DMEP允许剩余专家进一步专业化。实验表明，DMEP可将可训练参数减少高达43%，并将训练吞吐量提高约10%，同时保持准确性。