实体
MultiBLiMP
MultiBLiMP
PulseAugur coverage of MultiBLiMP — every cluster mentioning MultiBLiMP across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LangMAP词元化提升多语言模型性能
研究人员推出了一种新颖的语言自适应词元化方法LangMAP，该方法可从单一共享词汇表中生成特定语言的词元化。此方法基于UnigramLM算法，可在从头开始训练多语言语言模型时应用，或在不改变现有词汇表的情况下调整预训练模型。LangMAP在编程语言的形态边界对齐和抽象语法树叶子边界方面有所改进，但在知识相关任务上的益处则不太一致。
-
新研究解决了混合专家模型中的多语言适应问题
两篇新研究论文探讨了混合专家（MoE）模型在多语言任务中的适应性。一篇论文分析了语言专业化如何在持续预训练期间在MoE模型中出现，发现最终层会发展出特定语言的路由，并提出了一种仅更新少量参数的高效适应策略。另一篇论文介绍了RA-MoE，一个用于对齐跨语言路由模式以提高非英语下游任务性能的微调框架，证明了其在标准微调方法上的持续收益。