研究人员开发了一种名为LEGIT(实时资格门控通过标识符树)的新方法,以改进生成推荐器的约束解码,特别适用于Uber Eats搜索引擎等应用。该系统解决了确保生成内容(如结果页面上的菜单项)准确反映现实世界资格并避免重复的挑战。LEGIT使用trie来管理目录标识符,并将规则转换为范围查找,从而为每个生成的页面进行独立的目录检查。虽然最初的GPU实现将令牌生成时间增加了五倍,但更优化的CPU-GPU混合方法将此开销降低到约未约束解码成本的1.7倍。 AI
影响 该方法可以提高电子商务和其他推荐应用中使用的生成式AI系统的准确性和效率。
排序理由 关于约束解码新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
- alphaXiv
- arXiv
- CatalyzeX
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- LEGIT
- Nvidia B200
- ScienceCast
- Uber Eats
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →