Generative Target Matching

GRACE系统通过新的匹配和计算优化加速生成式广告检索

一篇新研究论文介绍了GRACE，一个旨在加速生成式推荐器以进行实时广告检索的系统。GRACE解决了两个关键挑战：通过新颖的生成目标匹配（GTM）技术确保广告资格，以及优化编码器-解码器Transformer的计算成本和延迟。该系统重新设计了解码器以实现宽束、短序列生成，并包括对注意力核、KV缓存和束搜索的优化，显著降低了延迟，并使生成式检索保持在严格的要求内。