研究人员开发了 Accordion,这是一种新颖的混合专家模型,专为在各种计算预算下进行灵活推理而设计。通过采用固定前缀层循环,Accordion 支持五个不同的推理深度,允许应用程序根据可用资源扩展计算。这种方法使单个模型能够在每个预算上与专用模型相媲美,更深的推理在数学推理和代码生成等领域可带来更好的性能。 AI
影响 能够跨不同的硬件和成本限制更有效地部署大型语言模型。
排序理由 详细介绍新模型架构及其性能的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →