研究人员开发了CRESiST,一个用于同步语音翻译的新颖框架,解决了当前基于LLM的系统中固有的延迟和质量问题。该端到端架构利用了一个全模态LLM和一种交错读写方法,实现了完整的KV缓存重用,并支持无限长度推理,而无需依赖外部语音活动检测。该系统包含一个Actor-Critic管道,用于学习最优流式策略,其中Actor为RNN-T,Critic为LLM,它们使用语义和延迟奖励来提炼最优策略。在各种基准测试上的实验表明,CRESiST建立了新的最先进的质量-延迟帕累托前沿。 AI
影响 这项研究可能显著提高实时翻译系统的效率和质量,影响实时字幕和国际通信等应用。
排序理由 该集群描述了一篇关于同步语音翻译新颖框架的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →