English(EN) DuDi: Dual-Signal Distillation with Cross-Lingual Verbalizer

DuDi框架提升小型语言模型的多语言能力

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-04 04:00

研究人员开发了DuDi，一种新颖的双信号蒸馏框架，旨在增强小型语言模型（SLMs）的多语言能力。该方法结合了序列级和令牌级信号，并引入了跨语言词化器来优化教师反馈。实验表明，DuDi在东南亚语言上的性能显著提升，在各种模型规模和系列上均优于现有的蒸馏技术。 AI

影响增强小型语言模型的多语言能力，有望提高资源匮乏语言的可访问性和性能。

排序理由这是一篇描述改进语言模型新方法的学术论文。

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Patomporn Payoungkhamdee, Tinnakit Udsa, Jian Gang Ngui, Sarana Nutanong, Alham Fikri Aji, Peerat Limkonchotiwat · 2026-06-04 04:00

DuDi: Dual-Signal Distillation with Cross-Lingual Verbalizer

arXiv:2606.04694v1 Announce Type: new Abstract: Small language models (SLMs) are efficient and scalable, but their multilingual capabilities degrade severely at sub-billion scales, especially for Southeast Asian (SEA) languages. We introduce DuDi, a dual-signal multilingual disti…