Kaousheik Jayakumar

新模型应对音频时间戳和时序约束语言理解

一篇新研究论文介绍了TEMPO，一种新颖的大型音频语言模型（LALM），能够为音频事件分配精确的时间戳，这是许多当前LALM所缺乏的功能。TEMPO采用独特的监督微调方法，结合原子时间戳标记和时序感知投影仪，并通过强化学习进一步优化。另外，一个名为Sori-1B的新音频时序约束语言模型已从头开始开发，其重点在于仅通过音频配对文本来约束语言理解，而不是依赖纯文本预训练。