PulseAugur
中
实时 14:40:31
English(EN) Memorize Theorems, Not Instances: Probing SFT Generalization through Mathematical Reasoning

Theorem-SFT通过教授定理应用来改善模型的推理能力

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为Theorem-SFT的新方法，以提高监督微调（SFT）模型的泛化能力。该方法将重点从记忆具体的解题对转移到理解和应用显式定理。在数学推理基准测试中，Theorem-SFT表现出显著的性能提升，当应用于LLaMA3.2-3B-Instruct和Qwen2.5-VL-7B-Instruct模型时，在MATH和GeoQA数据集上取得了显著的进步。 AI

影响 通过专注于定理应用来增强模型的推理能力，有可能提高在复杂任务上的性能。

排序理由 详细介绍一种提高模型泛化能力新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Ruiying Peng, Mengyu Yang, Jing Lei, Xiaohui Li, Xueyu Wu, Xinlei Chen ·

    记忆定理而非实例：通过数学推理探究SFT泛化能力

    arXiv:2605.09270v2 Announce Type: replace-cross Abstract: Supervised Fine-Tuning (SFT) is widely used for task-specific adaptation, yet recent work shows it systematically undermines reasoning generalization. We argue the root cause is not memorization itself, but its target: van…

相关实体

相关话题