研究人员推出AdaFuse,一个旨在通过解码过程中的自适应集成来提升大型语言模型(LLMs)性能的新框架。与使用固定融合策略的现有方法不同,AdaFuse根据解码上下文动态选择合适的融合单元,实现中途生成适应。该框架采用基于不确定性的标准来决定何时进行集成,并调用一种感知多样性的缩放策略来探索替代性续写并提高集成质量。实验表明,AdaFuse在问答、算术推理和机器翻译等各种任务上始终优于强大的集成基线,平均相对提升了6.88%。 AI
影响 这种自适应集成技术有望在各种应用中实现更高效、更准确的大型语言模型输出。
排序理由 该集群包含一篇详细介绍大型语言模型集成新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →