Continuous Audio Thinking

新的CoAT框架通过连续思考空间增强大型音频语言模型

研究人员开发了一个名为连续音频思考（CoAT）的新框架，旨在增强大型音频语言模型（LALMs）的能力。CoAT为这些模型配备了一个连续的潜在工作空间，用于在生成响应之前组织声学信息，使它们能够更好地利用语音细节、韵律和其他声学元素。这种方法不会增加自回归解码的成本，并且在与Qwen2-Audio、Qwen2.5-Omni-7B和Audio Flamingo等模型进行测试时，在各种音频理解和推理任务中都显示出性能提升。