研究人员开发了一种名为黄金指导程序化蒸馏的新方法,以提高小型语言模型在金融推理方面的能力。该技术使用经过执行验证的Python程序,而不是自然语言解释,将知识从大型教师模型转移到紧凑型学生模型。该方法通过仅保留能够正确执行并产生黄金答案的程序来确保高质量的监督,并包括一个针对失败示例的迭代恢复阶段。在TAT-QA数据集上的实验表明,使用此方法训练的7B学生模型显著优于其72B教师模型和其他基线,取得了最先进的成果。 AI
影响 这种方法可以使更小、更高效的模型执行复杂的金融推理任务,从而降低计算成本并提高可访问性。
排序理由 该集群包含一篇详细介绍LLM训练新方法的论文。
- arXiv
- Gold-Guided Programmatic Distillation for Financial Reasoning over Hybrid Tables and Text
- Hugging Face
- Python
- Tagop
- TAT-LLM
- TAT-QA
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →