一篇新的研究论文介绍GRACE,一个旨在加速生成式推荐器以进行实时广告检索的系统。GRACE通过实现生成式目标匹配(GTM)来改进广告定位,并优化编码器-解码器Transformer以降低延迟和成本,从而解决了资格和计算方面的挑战。该系统在NVIDIA GH200硬件上实现了显著的性能提升,将交叉注意力延迟降低了高达68倍,并将整体解码器延迟降低了11.1倍。 AI
影响 这项研究可能导致更高效、更具成本效益的实时广告生成系统。
排序理由 该集群包含一篇详细介绍生成式推荐器新系统的研究论文。
在 arXiv cs.IR (Information Retrieval) 阅读 →
- FlashAttention-2
- FlashAttention-3
- Generative Target Matching
- GRACE
- NVIDIA GH200
- Bloom filter
- Generative Recommender Acceleration Engine for Real-Time Ads Retrieval
- Semantic ID
- Sid
- transformers
- Zhou Fang
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →