CoVoST2
PulseAugur coverage of CoVoST2 — every cluster mentioning CoVoST2 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架CRESiST提升同步语音翻译质量和延迟
研究人员开发了CRESiST，一个用于同步语音翻译的新颖框架，解决了当前基于LLM的系统中固有的延迟和质量问题。该端到端架构利用了一个全模态LLM和一种交错读写方法，实现了完整的KV缓存重用，并支持无限长度推理，而无需依赖外部语音活动检测。该系统包含一个Actor-Critic管道，用于学习最优流式策略，其中Actor为RNN-T，Critic为LLM，它们使用语义和延迟奖励来提炼最优策略。在各种基准测试上的实验表明，CRESiST建…
-
新方法改善了同步语音翻译的质量-延迟权衡
研究人员开发了一种新的端到端同步语音翻译方法，通过使用前缀监督来调整全句语音语言模型，从而改善了质量-延迟权衡。该方法在三个语言方向的 FLEURS 和 CoVoST2 数据集上进行了测试，使用置信度阈值来管理推理时间性能，并探索了单轮和多轮解码策略。特别是多轮解码显著减少了提交校准错误，尤其是在早期前缀时，从而实现了更一致、更准确的翻译。
-
新的SPRI方法在数据受限情况下增强了AI模型升级
研究人员开发了一种名为SVD-Partitioned Residual Initialization (SPRI)的新方法，以改进将密集AI模型转换为更高效的专家混合（MoE）模型的过程，这项技术被称为MoE升级。该方法在处理数据有限的情况下尤其有益，因为它利用了预训练模型的结构，同时在专家之间引入了可控的多样性。SPRI在多语言语音转文本翻译任务中表现出显著的改进，优于标准的微调密集模型和以前的升级方法。
-
新模型使用连续空间进行语音识别和翻译
研究人员推出了一种名为ELF-S2T的新型语音转文本系统方法，该系统在连续潜在空间而非离散文本标记中运行。该模型基于嵌入式语言流（ELF）骨干，将音频条件和流匹配去噪用于语音识别和翻译任务。在标准数据集上的实验表明其性能具有竞争力，并揭示了识别和翻译中的错误源于此连续潜在空间中相似的混淆。