Audio Interaction Model

新型音频交互模型统一实时音频任务

研究人员推出音频交互模型（AIM），这是一种新颖的大型音频语言模型（LALM），专为实时、交互式音频处理而设计。与之前的离线或单任务流式模型不同，AIM 在连续的感知-决策-响应循环上运行，使其能够动态地理解和响应环境声音和指令。该模型得到了 SoundFlow 框架（用于端到端开发）、名为 StreamAudio-2M 的新数据集以及用于评估主动音频干预的基准的支持。