PulseAugur
中
实时 12:11:41
English(EN) ProactiveLLM: Learning Active Interaction for Streaming Large Language Models

ProactiveLLM 学习流式 LLM 的主动交互

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出 ProactiveLLM，这是一种通过使大型语言模型能够主动决定何时与传入数据交互来增强流式大型语言模型的新方法。该方法解决了传统 LLM 和当前流式模型的延迟和计算效率低下问题。ProactiveLLM 通过基于掩码的流式建模和同步特权自蒸馏，学习从部分输入中评估语义充分性，无需外部对齐信号或注释。评估表明，在文本和语音任务中，交互延迟显著降低，同时保持了输出质量。 AI

影响 降低流式 LLM 的延迟，可能提高实时应用程序的性能和效率。

排序理由 介绍新模型架构和训练方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Junlong Tong, Yao Zhang, Anhao Zhao, Yingqi Fan, Yunpu Ma, Xiaoyu Shen ·

    ProactiveLLM: Learning Active Interaction for Streaming Large Language Models

    arXiv:2606.00523v1 Announce Type: new Abstract: Standard Large Language Models (LLMs) follow a read-then-generate paradigm, causing unnecessary latency and computation. Streaming LLMs alleviate this issue by generating while receiving inputs, but still struggle to decide when to …

相关实体

相关话题