研究人员引入了一种名为“协同学习”的新方法,以增强大型语言模型(LLM)的推理能力。该方法涉及将一个大型模型分解为多个小型、异构的“模型切片”,然后让它们协同工作。通过采用“金字塔监督”,该方法结合了协议蒸馏和步进式指导,这些协同体可以改进它们的推理和交互过程。在问答、数学推理、代码生成和约束生成任务上的实验表明,这种协同方法在性能上可与原始大型模型和现有的多智能体系统相媲美甚至更优,同时还提高了推理效率。 AI
影响 通过使专门的小型模型能够协同工作,这种方法有望实现更强大、更高效的LLM推理。
排序理由 关于LLM推理新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- code generation
- collaborative learning
- Hugging Face
- large language models
- mathematical reasoning
- model slicing
- open-ended constrained generation
- Pyramid supervision
- reinforcement-learning-based methods
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →