PulseAugur
实时 08:17:23
English(EN) Fast LapSum: Exact Differentiable Top-k at Million Scale

Fast LapSum实现了百万级规模的精确可微分Top-k

研究人员开发了Fast LapSum,一种用于在大规模计算中高效计算top-k元素的新颖方法。该技术在保持完全可微分的同时保留了k的精确选择质量,解决了先前硬性top-k操作和昂贵的连续松弛的局限性。Fast LapSum的GPU求解器以线性时间运行,在毫秒内处理数百万个分数,使其在稀疏路由、检索和大规模优化等应用中具有实用性。 AI

影响 实现了更高效的稀疏计算,可能加速大规模AI模型的训练和推理。

排序理由 该项目是一篇详细介绍新计算方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Fast LapSum实现了百万级规模的精确可微分Top-k

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · {\L}ukasz Struski, Joanna Wojciechowicz, Jakub Antczak, Marcin Mazur, Kamil Ksi\k{a}\.zek, Jacek Tabor ·

    Fast LapSum: Exact Differentiable Top-k at Million Scale

    arXiv:2608.06912v1 Announce Type: new Abstract: The top-$k$ operation is a fundamental building block of modern sparse computation, enabling token routing, expert activation, memory selection, and attention pruning. Yet standard hard top-$k$ blocks gradients, while existing conti…