研究人员为 IWSLT 2026 共享任务重新实现了 NAVER LABS 指令遵循流水线,将其适配为使用 SeamlessM4T-v2-large 作为语音编码器,并使用 Qwen3-4B-Instruct 作为 LLM 主干。此次适配保留了原始的三阶段方法:投影仪对齐、LoRA 预训练和多模态合并。为了增强模型,他们生成了跨越十种语音中心任务类型的 100,000 个合成指令遵循示例。主要模型在 MCIF 基准的 EN-ZH 语音翻译任务上取得了 0.781 的 COMET 分数,在英语 SQA 任务上取得了 0.346 的 BERTScore-F1 分数。 AI
影响 这项研究展示了将现有模型适配到特定语音中心任务的能力,有望提高在指令遵循基准上的性能。
排序理由 该集群描述了一篇研究论文,详细介绍了为特定任务和基准重新实现现有系统。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →