PulseAugur
中
实时 10:08:25
English(EN) Dual-Flow Transformers: Decoupling the Primary Prefill Path from Additional Decode Computation

Dual-Flow Transformer 架构解耦 LLM 推理路径

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的架构 Dual-Flow Transformer，旨在优化大型语言模型的推理成本。该模型将处理提示和生成 KV 缓存的主要预填充路径，与仅在续写预测时激活的辅助流分离开来。这种分离允许在续写阶段增加计算量，而不影响提示处理，从而可能降低整体推理费用。实验表明，Dual-Flow Transformers 在混合专家 (MoE) 模型中实现了更低的验证损失，并提供了对提示成本、续写成本和预测质量的灵活控制。 AI

影响 通过将提示处理与续写预测解耦，优化了 LLM 推理成本，可能降低运营费用。

排序理由 这是一篇详细介绍大型语言模型新颖架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Dual-Flow Transformer 架构解耦 LLM 推理路径

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Liming Liu, Mingze Wang, Tuo Zhao ·

    双流Transformer：将主要预填充路径与附加解码计算分离

    arXiv:2608.12385v1 Announce Type: new Abstract: As large language models serve more requests, cumulative inference cost is becoming increasingly important relative to one-time training cost. The two inference phases stress hardware differently: prompt prefill is parallel and typi…

相关实体

相关话题