研究人员推出DuoLM,一个旨在利用语言模型提高个性化推荐系统速度和效率的新框架。DuoLM采用双模型方法:一个紧凑的编码器生成可重用的物品表示,一个个性化排序器根据用户历史定制推荐。该系统通过优化的推理技术(包括虚拟令牌ID和CUDA Graphs)实现了显著的性能提升,在单个NVIDIA H100 GPU上可实现约每秒26,400个候选分数吞吐量,比传统方法快约60倍。 AI
影响 加速个性化推荐系统,为基于LLM的应用实现更高的吞吐量和效率。
排序理由 该集群包含一篇详细介绍推荐系统新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →