小型 LLM 通过分阶段训练实现受限摘要

一位研究人员探索了小型语言模型（特别是 Qwen2.5-0.5B-Instruct 和 LFM-2.5-350M）的输出长度受限摘要。该项目研究了这些模型是否能在严格的 64 个 token 限制内生成高质量的 Reddit 帖子摘要。实验表明，分阶段的训练课程（首先关注长度惩罚，然后是质量奖励）优于联合训练，其中 METEOR 和 ROUGE-L 被证明是最有效的奖励组合。 AI

影响 证明了通过仔细的奖励工程和分阶段课程，可以有效地训练小型模型以完成特定任务。

排序理由 该集群详细介绍了一个研究项目，该项目使用新颖的训练策略和框架对小型语言模型进行特定任务（受限摘要）的微调。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

• East-Muffin-6472
• GRPO
• LFM-2.5-350M
• MLX
• Qwen2.5-0.5B-Instruct
• smolcluster
• vLLM

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →