研究人员推出了一种新颖的框架——函数空间策略优化(FSPO),旨在提高语言模型的推理和工具使用准确性。FSPO整合了时间巩固和特权适应,减少了内存需求并优于现有方法。该框架将历史的下一个token分布存储为固定目标,实现了时间分离,无需持久的教师模型。这种方法在推理和工具使用基准测试中表现出卓越的性能,在有限的训练预算内实现了更高的准确性,并降低了峰值内存使用量。 AI
影响 这一新框架有望为需要推理和工具使用的任务带来更准确、更高效的语言模型。
排序理由 该条目描述了一篇关于语言模型策略优化新框架的学术论文。 [lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- Function-Space Policy Optimization
- Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation
- Olmo3-7B-Instruct
- Outcome-Guided On-Policy Self-Distillation
- Recursive Self-Improvement via On-Policy Distillation for Reasoning
- Reinforcement Learning with Verifiable Rewards
- RLVR
- SAPD: Step-Aligned Privileged Distillation
- Self Distillation Using Contrastive Evidence Policy Optimization
- SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation
- Teach Yourself Where to Look: On-Policy Attention Self-Distillation for Reasoning
- VASPO: Self-Distillation with Privileged Value Estimation
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →