研究人员推出了一种新颖的专家混合(mixture-of-experts)框架“进化汤”(Evolutionary Soups),旨在增强大型语言模型(LLM)的多目标对齐能力。该方法利用经过进化算法训练的逐层门控网络,在推理时动态调整专家合并系数。实验表明,“进化汤”通过实现比现有方法更好的超体积(hypervolume)、线性效用(linear utility)和切比雪夫效用(Tchebyshev utility),显著提高了可控生成能力。 AI
影响 该框架能够为复杂任务提供更细致、更具适应性的大模型输出控制。
排序理由 该集群描述了在arXiv学术论文中提出的一种新颖方法。
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Evolutionary Soups
- Gotit.pub
- Hugging Face
- mixture of experts
- Pareto frontier
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →