研究人员开发了 Prof-K，一种用于高效 Top-k 选择的新型算法，提供概率正确性保证。这种单遍方法使用一小部分样本来估计阈值，然后将输入元素处理一次到一个紧凑的缓冲区中，以用户指定的错误概率识别真正的 Top-k 值。Prof-K 在大型场景中，尤其是在 k 值较小到中等的情况下，与现有的 PyTorch 和 RadiK 实现相比，速度显著提升，并在各种输入分布中保持鲁棒性。 AI
影响 该算法可以通过提高 Top-k 选择的效率来加速机器学习工作负载，Top-k 选择是稀疏激活和注意力修剪等领域的常见操作。
排序理由 这是一篇详细介绍新算法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
