ProactiveLLM

ProactiveLLM 学习流式 LLM 的主动交互

研究人员推出 ProactiveLLM，这是一种通过使大型语言模型能够主动决定何时与传入数据交互来增强流式大型语言模型的新方法。该方法解决了传统 LLM 和当前流式模型的延迟和计算效率低下问题。ProactiveLLM 通过基于掩码的流式建模和同步特权自蒸馏，学习从部分输入中评估语义充分性，无需外部对齐信号或注释。评估表明，在文本和语音任务中，交互延迟显著降低，同时保持了输出质量。