FlashVector

FlashVector 代理将 AI 模型服务栈优化至 2 倍吞吐量

研究人员开发了 FlashVector，一个旨在优化生产推荐系统中模型服务的性能并降低相关成本的代理系统。该系统通过将优化技术推广到异构技术栈，解决了从 GPU 内核到特征处理的多个层面的优化复杂性。在 Unity 的 Vector 广告平台上部署后，FlashVector 取得了显著的改进，包括模型服务器吞吐量提高高达 2 倍，延迟提高 1.98 倍，以及特征存储吞吐量提高 1.6 倍。