一位研究人员为名为Apertus-8B的8B参数模型开发了一种持续学习方法,使其能够保留前几天新闻的信息。经过四天的学习,该模型在第一天的新闻上保持了90.7%的准确率,显著优于标准LoRA方法(下降至26.7%)。该模型在GSM8K基准测试上也表现强劲,初始分数仅略有下降,而LoRA方法则急剧下降。研究人员已公开了数据集和基准测试,并计划进行进一步测试。 AI
影响 展示了一种有前景的持续学习方法,可能使模型能够在不忘记先前知识的情况下适应新信息。
排序理由 详细介绍LLM新颖持续学习方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →