WikiBigEdit

LadderEdit 通过残差压缩将 LLM 编辑内存减少 5.2 倍 · arXiv

研究人员开发了 LadderEdit，一种用于大型语言模型（LLM）内存高效终身编辑的新颖方法。该方法在获取每次编辑后压缩单独的 LoRA 适配器，最初将其存储为低秩草图。满足特定标准的编辑将保留为草图，而未满足的则提升到更高的秩。这项技术显著降低了存储需求，与传统的 LoRA 方法相比，内存使用量减少了 5.2 倍，同时在 Llama 3-8B、Mistral-7B 和 Qwen2.5-7B 等各种基准测试和模型上进行了 50,00…