研究人员推出了一种新颖的提示调优框架HiVe,旨在增强大型语言模型(LLM)的多任务学习能力。与使用静态或固定分层提示结构的现有方法不同,HiVe根据输入的具体性动态组合提示。这是通过构建一个模拟任务间关系的模型层次结构,并在推理过程中采用垂直混合专家(V-MoE)机制来实现的。实验表明,HiVe在各种任务上都优于当前的提示调优基线,证明了其在自适应提示专业化方面的有效性。 AI
影响 HiVe的自适应提示组合有望在各种应用中实现更高效、更专业的LLM性能。
排序理由 该集群包含一篇研究论文,详细介绍了LLM多任务学习的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- large language models
- parameter-efficient fine-tuning
- vertical mixture-of-experts
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →