Hongye Jin

新方法解决大型语言模型和音频处理中的噪声问题

研究人员开发了一种名为早期噪声丢弃（END）的新方法，以提高大型语言模型（LLMs）的效率和有效性。END 在处理阶段早期识别并丢弃输入序列中不相关或有噪声的上下文，而无需对模型进行微调。该方法在各种 LLMs 和数据集上显示出显著的性能和效率提升，同时还提供了对 LLMs 内部如何处理上下文信息的更深入见解。此外，还引入了一个名为自动上下文音频去噪（ACAD）的新概念，该概念基于推断的音频上下文而非固定定义来定义目标和噪声。