Dual-Flow Transformer

Dual-Flow Transformer 架构解耦 LLM 推理路径

研究人员推出了一种新颖的架构 Dual-Flow Transformer，旨在优化大型语言模型的推理成本。该模型将处理提示和生成 KV 缓存的主要预填充路径，与仅在续写预测时激活的辅助流分离开来。这种分离允许在续写阶段增加计算量，而不影响提示处理，从而可能降低整体推理费用。实验表明，Dual-Flow Transformers 在混合专家 (MoE) 模型中实现了更低的验证损失，并提供了对提示成本、续写成本和预测质量的灵活控制。