ExpertLens

ExpertLens 框架可视化 MoE 嵌入空间以提高检索可解释性

研究人员推出 ExpertLens，一个旨在增强信息检索中使用的混合专家 (MoE) 增强密集检索器可解释性的新颖框架。与关注局部特征归因的现有方法不同，ExpertLens 通过可视化嵌入空间并利用概念激活向量提供全局可解释性。这种方法揭示了专家路由如何影响嵌入空间的结构，证明 MoE 集成可以为查询和相关文档带来更明确的几何邻域。