audio LM

新方法将音频 LM 时间定位速度提升 50 倍

研究人员为音频语言模型（LMs）开发了一种名为“内部帧级重用”的新方法，该方法显著加快了时间定位任务的速度。这种方法绕过了将时间戳生成为文本标记的缓慢且易出错的过程。相反，它训练音频 LM 直接使用其内部帧级表示来进行定位。该方法在单词定位和说话人分离等任务上，尤其是在处理持续时间超出分布的音频时，已证明推理速度提高了 50 倍以上，并且准确性有所提高。