实体
Declarative-Procedural framework
Declarative-Procedural framework
PulseAugur coverage of Declarative-Procedural framework — every cluster mentioning Declarative-Procedural framework across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
MoE语言模型在双语训练中展现语言专业化
研究人员探讨了专家混合（MoE）语言模型如何为双语数据开发专业化路由。他们使用声明式-过程式框架，分析了一个在顺序语言暴露下训练的英语-德语MoE Transformer。研究发现，虽然经过课程训练的模型表现出一定的语言专业化，但在混合数据上训练的基线模型表现出更强的总体专业化，尽管这种专业化依赖于种子且集中在单一语言上。然而，课程方法产生了更稳定、语言平衡的路由配置文件。
-
新框架RARE改进MoE语言模型引导
研究人员开发了RARE，一个用于引导专家混合（MoE）语言模型的新框架，该框架将表示引导与专家路由解耦。这种方法将行为扰动投影到路由器矩阵的零空间，从而缓解了表示工程与MoE架构之间的结构不匹配引起的问题。研究表明，RARE在有害性引导、真实性和事实编辑方面均有改进，同时保持了模型的准确性。另外一项研究调查了双语MoE模型，发现虽然顺序语言暴露可以实现稳定、语言平衡的路由，但非课程基线表现出更强的总体语言专业化。