FlashTrie 通过 GPU 驱动的束搜索加速生成式检索

研究人员开发了 FlashTrie，一个旨在加速 GPU 上生成式检索的约束束搜索的新系统。该方法通过利用面向整数的简洁 Trie 布局和协作式 CUDA 内核，优化了通常是 CPU 瓶颈的 Trie 遍历和候选验证。FlashTrie 显著降低了解码延迟并提高了吞吐量，与 CPU 基线相比速度提升高达 24 倍，并在延迟敏感型应用中实现了更大的束大小。在一家商业搜索引擎上进行的 A/B 实验显示收入提升了 0.71%，展示了其在实时约束解码方面的有效性。 AI

影响 加速了生成式检索性能，可能支持实时应用并提高搜索引擎收入。

排序理由 详细介绍生成式检索新系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• central processing unit
• CUDA
• DagsHub
• Dakshitha B Anandakumar
• FlashTrie
• Gotit.pub
• graphics processing unit
• Hugging Face
• ScienceCast

• 基础设施
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →