ToolUse

新的蒸馏方法通过调整教师和 token 来增强 LLM 推理能力

研究人员正在开发先进的策略内蒸馏技术，以提高大型语言模型的性能。一种方法是学生前缀教师适应（SPTA），它修改教师模型以更好地处理学生生成的前缀，从而提高数学推理任务的指导可靠性。另一种方法是教师演化自蒸馏（TESD），它通过使用任务正确性和上下文独立性的奖励来提高教师的自学能力，同时还自适应地降低不可靠指导的权重。第三种技术是多教师自适应策略内自蒸馏（MTA-OPSD），它更进一步，允许每个 token 从池中选择其首选教师，在数学…