Mingyue Huo

新的LLM框架TagSpeech增强了多说话人ASR和说话人分割

研究人员推出TagSpeech，一个新颖的端到端框架，用于联合自动语音识别（ASR）和说话人分割。这个基于LLM的系统利用时间锚点定位来精确识别“谁在何时说了什么”。TagSpeech采用参数高效的训练方法，冻结LLM主干，仅训练轻量级投影器，从而以较低的计算成本获得强大的性能。在AMI和AliMeeting基准上的实验表明，TagSpeech在复杂语音重叠场景下优于现有的端到端基线，包括Qwen Omni和Gemini。