实体
MultiBLiMP
MultiBLiMP
PulseAugur coverage of MultiBLiMP — every cluster mentioning MultiBLiMP across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
LangMAP分词在不改变词汇表的情况下适应多语言模型
研究人员开发了LangMAP，一种新颖的语言自适应分词方法，将UnigramLM算法扩展到多语言环境。该方法允许从单一共享词汇表中进行特定语言的分词，从而在不改变词汇表的情况下适应预训练模型。LangMAP在编程语言的形态边界和抽象语法树叶子边界上表现出更好的对齐，尽管其在知识相关任务上的益处喜忧参半。
-
新研究解决了混合专家模型中的多语言适应问题
两篇新研究论文探讨了混合专家（MoE）模型在多语言任务中的适应性。一篇论文分析了语言专业化如何在持续预训练期间在MoE模型中出现，发现最终层会发展出特定语言的路由，并提出了一种仅更新少量参数的高效适应策略。另一篇论文介绍了RA-MoE，一个用于对齐跨语言路由模式以提高非英语下游任务性能的微调框架，证明了其在标准微调方法上的持续收益。