实体
Wasserstein-1 distance
Wasserstein-1 distance
PulseAugur coverage of Wasserstein-1 distance — every cluster mentioning Wasserstein-1 distance across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的ADIW框架提高了深度学习重要性加权的效率
研究人员推出了一种名为加速动态重要性加权（ADIW）的新型框架，旨在提高深度学习中重要性加权技术的效率和通用性。ADIW通过投影梯度下降更新减少计算开销，并将方法推广到支持核均值匹配以外的更广泛的散度度量，从而解决了现有动态重要性加权方法的局限性。该框架旨在在处理联合分布偏移方面提供最先进的性能，同时显著提高计算效率。
-
新理论使用最优输运分析LLM推理极限
研究人员开发了一个理论框架，使用最优输运来分析大型语言模型（LLM）的推理和分布外泛化能力。他们的方法用Wasserstein-1距离量化域偏移，并确定了两个关键限制：依赖位置的注意力机制阻碍了移位不变性，而Transformer中的顺序回溯对电路深度施加了下限。在组合搜索任务上的评估证实，泛化风险随域偏移的增加而增加，凸显了物理层深度缩放的必要性。