一篇新研究论文介绍了GRACE，一个旨在加速生成式推荐器以进行实时广告检索的系统。GRACE解决了两个关键挑战：通过新颖的生成目标匹配（GTM）技术确保广告资格，以及优化编码器-解码器Transformer的计算成本和延迟。该系统重新设计了解码器以实现宽束、短序列生成，并包括对注意力核、KV缓存和束搜索的优化，显著降低了延迟，并使生成式检索保持在严格的要求内。 AI
影响 优化了用于实时应用的生成模型，可能提高广告定位效率并降低计算成本。
排序理由 该集群包含一篇详细介绍新系统和方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
