CTC loss

DirectSpeech2LLM框架解决了语音-LLM中的提示过拟合问题

研究人员开发了DirectSpeech2LLM，一个旨在解决语音-LLM中提示过拟合的新型框架。这个端到端系统使以语音为条件的LLM能够为未见过的任务（如语音翻译和情感识别）保持指令遵循能力，即使它们仅在自动语音识别（ASR）数据上进行训练。该框架利用了在冻结的LLM嵌入矩阵上的基于距离的CTC损失，在ASR任务上取得了强劲的性能，并能有效地泛化到先前未接触过的新指令。