Georgii Gospodinov

新研究解决音频语言模型在指令遵循和评估方面的局限性

研究人员正在开发新方法来改进大型音频语言模型（LALM）的功能。一种方法侧重于使用音频感知LLM为文本到音频生成中的指令遵循提供细粒度反馈，特别是在涉及多个声音事件和时间顺序的任务中。另一项研究调查了LALM在语音评估中可能采取的潜在捷径，发现一些模型依赖于协议级别的线索，而不是真正地收听音频。此外，还引入了新的基准和模型来评估和增强长音频录音中的多音频理解和时间定位能力。