CascadeRec

CascadeRec 系统在生产中将 LLM 推荐成本降低了 10%

一篇新的研究论文介绍 CascadeRec，一个专为多租户SaaS环境中的内容推荐设计的两级 LLM 重排系统。CascadeRec 在 AWS EKS 和 Google Kubernetes Engine 上投入生产使用，它使用一个轻量级模型处理所有请求，并将其中一部分请求升级到更强大、更昂贵的模型。这种方法已在生产中证明可将推理成本降低 10%，同时对延迟的影响极小，且未观察到质量下降。在 MovieLens-1M 和 Amazo…