研究人员开发了一种名为关键点路由（CPR）的新方法，以解决大型语言模型（LLM）在领域适应过程中出现的灾难性遗忘问题。CPR通过仅在必要时选择性地调用专家模型来解耦通用能力与领域特定知识，而不是仅仅依赖于监督微调（SFT）。该方法训练一个轻量级路由器，在推理过程中为每个token估计专家调用概率，并结合动量平滑和阈值门控。CPR在各种配置下都展现了最先进的性能，显著提高了领域性能，同时几乎消除了通用能力的下降，且开销极小。 AI
影响 该方法可以使LLM更高效、更有效地适应专业领域，而不会牺牲通用知识。
排序理由 该集群包含一篇详细介绍LLM新方法的学术论文。
- arXiv
- Catastrophic forgetting
- Critical-Point Routing
- Domain Adaptation
- Hugging Face
- LLMs
- supervised fine-tuning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
