实体 SFT-as-Context

SFT-as-Context

PulseAugur coverage of SFT-as-Context — every cluster mentioning SFT-as-Context across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_289335 · Oct 9 · 04:00

新的 SFT-as-Context 方法缓解了 LLM 微调过程中的遗忘问题

研究人员引入了一种名为 SFT-as-Context 的新颖的无需训练的方法，以解决大型语言模型 (LLM) 监督微调 (SFT) 中的灾难性遗忘问题。该技术允许父模型利用 SFT 模型的响应作为上下文，使其能够通过上下文学习获得专业能力，同时保留其原有的通用知识。在多个模型对和基准测试上的实验表明，SFT-as-Context 在微调任务上的性能接近 SFT 模型，在通用能力方面接近父模型，有效弥合了需要两者兼顾的查询的差距。