EleutherAI 的研究人员探索了在多样化的下游任务上微调 GPT-Neo 2.7B 模型的影响。他们观察到，虽然微调后的模型在所有任务上的表现并不总是优于基础模型，但在 ANLI 等特定任务上有所显著改进。然而，这种专业化是以在未包含在微调集中的任务（如 LAMBADA 和 PubMedQA）上性能下降为代价的，这表明可能存在灾难性遗忘。 AI
排序理由 这是一篇研究论文，详细介绍了对现有模型进行微调的实验及其性能评估。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
