实体
Gumbel-Top-K
Gumbel-Top-K
PulseAugur coverage of Gumbel-Top-K — every cluster mentioning Gumbel-Top-K across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的MoE路由方法超越简单不确定性优化专家使用
研究人员正在为混合专家（MoE）模型开发先进的路由机制，特别是那些使用低秩适应（LoRA）的模型。新的方法如VI-MoLE和CARE不再仅仅基于不确定性进行路由，而是专注于根据“信息价值”或“置信度自适应路由”来分配计算资源。这些方法旨在优化专家激活，以降低风险并提高准确性，尤其是在分布变化的情况下。论文还探讨了MoE路由中专家重叠和依赖性控制的潜在几何原理，表明虽然专家可能共享表示空间，但它们的协调使用对于性能至关重要。
-
新方法通过秩条件样本重用增强Plackett-Luce目标
研究人员开发了一种用于Plackett-Luce Best-of-K目标中秩条件样本重用的新颖方法。这种新方法通过提供无偏的得分函数代理梯度来解决现有估计量中的偏差。该方法利用动态规划来折叠子集和，并提供具有O(n log n + nKQ)复杂度的固定Q正交评估。