vertical mixture-of-experts

新的HiVe框架通过自适应提示增强LLM多任务学习能力

研究人员推出了一种新颖的提示调优框架HiVe，旨在增强大型语言模型（LLM）的多任务学习能力。与使用静态或固定分层提示结构的现有方法不同，HiVe根据输入的具体性动态组合提示。这是通过构建一个模拟任务间关系的模型层次结构，并在推理过程中采用垂直混合专家（V-MoE）机制来实现的。实验表明，HiVe在各种任务上都优于当前的提示调优基线，证明了其在自适应提示专业化方面的有效性。