研究人员开发了一种新颖的方法,通过解耦大型语言模型(LLM)的角色并采用成本感知跨层迁移的方法来优化LLM提示词和智能体程序。该技术涉及在最廉价的LLM层上运行高容量的回答角色,为不常出现的变异算子保留一个更强大的模型,然后将廉价演化出的提示词迁移到一个更强大的目标模型上。该策略显著降低了搜索成本,超过96%的token在最廉价的层上处理,从而使搜索成本降低5.6-14倍,在特定场景下节省高达54倍。 AI
影响 这种方法可以显著降低开发和部署基于LLM的智能体和提示词的计算成本。
排序理由 该项目是一篇研究论文,详细介绍了一种LLM的新颖优化方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →