一位 Reddit r/MachineLearning 版块的用户正在寻求关于指数移动平均 (EMA) 技术成功应用于 LoRA (Low-Rank Adaptation) 适配器的信息。他们对 EMA 适配器充当自教师、为可训练适配器生成软标签的场景感兴趣。用户引用了一篇关于 on-policy self-distillation 的论文，该论文使用 EMA 作为教师，但涉及完全微调，并正在寻找展示这一概念与 LoRA 或类似的参数高效微调方法结合使用的实证结果。 AI
影响 此查询突出了在高效模型微调技术中的一个特定兴趣领域。
排序理由 用户在子版块中提出的技术主题查询。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
