AdaFuse

AdaFuse框架通过自适应集成提升大型语言模型性能

研究人员推出AdaFuse，一个旨在通过解码过程中的自适应集成来提升大型语言模型（LLMs）性能的新框架。与使用固定融合策略的现有方法不同，AdaFuse根据解码上下文动态选择合适的融合单元，实现中途生成适应。该框架采用基于不确定性的标准来决定何时进行集成，并调用一种感知多样性的缩放策略来探索替代性续写并提高集成质量。实验表明，AdaFuse在问答、算术推理和机器翻译等各种任务上始终优于强大的集成基线，平均相对提升了6.88%。