研究人员开发了一种名为通信策略内蒸馏(Communicative On-Policy Distillation, COPD)的新方法,使小型语言模型能够从大型黑盒模型中学习。COPD利用自然语言通信作为知识转移的媒介,允许学生模型提问并从教师模型那里获得指导,而无需预定义模板。这种方法在长时任务上显示出显著的改进,优于现有的黑盒蒸馏方法,并能泛化到各种基准测试。 AI
影响 使小型模型能够利用大型、不可访问模型的强大功能,有可能使先进的AI能力民主化。
排序理由 该集群包含一篇详细介绍AI模型能力蒸馏新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- CAMG-II
- COPD
- Communicative On-Policy Distillation
- Hugging Face
- On-Policy Distillation
- SWE-bench Pro V2
- Terminal-Bench 2.1
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →