Generative Target Matching

GRACE系统通过生成式推荐器加速实时广告检索

一篇新的研究论文介绍GRACE，一个旨在加速生成式推荐器以进行实时广告检索的系统。GRACE通过实现生成式目标匹配（GTM）来改进广告定位，并优化编码器-解码器Transformer以降低延迟和成本，从而解决了资格和计算方面的挑战。该系统在NVIDIA GH200硬件上实现了显著的性能提升，将交叉注意力延迟降低了高达68倍，并将整体解码器延迟降低了11.1倍。