研究人员开发了G-Boost，一个旨在增强边缘设备上部署的小型语言模型（SLM）性能的新颖框架。该系统实现了资源受限的边缘SLM与基于云的强大大型语言模型（LLM）之间的协作，而无需对边缘模型进行直接参数更新。G-Boost使用一种由奖励模型指导的树搜索方法，动态决定何时仅使用SLM，何时融合SLM和LLM的logits，从而转移领域知识。在GSM8K和MATH-500基准上的评估表明，G-Boost的性能显著优于独立的SLM和其他基线方法，性能提升高达10.7个百分点。 AI
影响 通过实现小型和大型语言模型之间的高效协作，增强了边缘AI能力。
排序理由 该集群描述了一篇在arXiv上发表的研究论文，详细介绍了一个用于改进小型语言模型的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- G-Boost
- GSM8K
- Llama2Vec: Unsupervised adaptation of large language models for dense retrieval
- MATH-500
- Monte Carlo tree search
- Proxy-Tuning
- Qwen2.5
- Yijiang Fan
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
