PulseAugur
中
实时 21:14:05
实体 Raw-Routed Mixture of Adapters

Raw-Routed Mixture of Adapters

PulseAugur coverage of Raw-Routed Mixture of Adapters — every cluster mentioning Raw-Routed Mixture of Adapters across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_273657 ·

    新的适配器方法解决了时间序列基础模型中的路由崩溃问题

    研究人员发现时间序列基础模型(TSFM)中存在一个关键问题,即标准的混合专家(MoE)适配器因“归一化引起的路由崩溃”而失效。这种现象发生的原因是预编码器归一化剥离了路由器区分不同数据模式所必需的关键统计信息。所提出的解决方案,原始路由适配器混合(RR-MoA),通过在原始的、预归一化输入上进行路由来进行干预,从而有效地绕过了这种崩溃。实验表明,在使用冻结骨干网络时,RR-MoA 的性能显著优于现有的适配器方法,甚至优于完全微调,这一…