实体
ExpertLens
ExpertLens
PulseAugur coverage of ExpertLens — every cluster mentioning ExpertLens across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法识别MoE模型中的领域专家以实现高效适应
研究人员开发了ExpertLens，一种用于识别多模态混合专家（MoE）模型中领域专业化专家的新颖方法。该技术利用了由于稀疏计算而在MoE架构中出现的固有语义专业化。ExpertLens通过选择性地仅微调相关专家来实现高效的多模态适应，在更新更少参数和显著减少训练时间的情况下，实现了与完全微调相当的性能。
-
ExpertLens 框架可视化 MoE 嵌入空间以提高检索可解释性
研究人员推出 ExpertLens，一个旨在增强信息检索中使用的混合专家 (MoE) 增强密集检索器可解释性的新颖框架。与关注局部特征归因的现有方法不同，ExpertLens 通过可视化嵌入空间并利用概念激活向量提供全局可解释性。这种方法揭示了专家路由如何影响嵌入空间的结构，证明 MoE 集成可以为查询和相关文档带来更明确的几何邻域。