Critical-Point Routing

新的CPR方法用于LLM，以对抗灾难性遗忘

研究人员开发了一种名为关键点路由（CPR）的新方法，以解决大型语言模型（LLM）在领域适应过程中出现的灾难性遗忘问题。CPR通过仅在必要时选择性地调用专家模型来解耦通用能力与领域特定知识，而不是仅仅依赖于监督微调（SFT）。该方法训练一个轻量级路由器，在推理过程中为每个token估计专家调用概率，并结合动量平滑和阈值门控。CPR在各种配置下都展现了最先进的性能，显著提高了领域性能，同时几乎消除了通用能力的下降，且开销极小。