PulseAugur
实时 12:50:03
English(EN) SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling

Meta 使用 SOLARIS 扩展推荐模型推理

研究人员开发了 SOLARIS,一个旨在提高大型推荐模型实时服务效率的新框架。SOLARIS 采用推测性方法预计算用户-物品交互嵌入,提前为预测的未来请求生成基础模型表示。该方法已部署在 Meta 的广告系统中,通过将昂贵的推理与关键服务路径分离,在创收指标上实现了 0.67% 的提升。 AI

影响 能够实时服务复杂的推荐模型,有可能改善用户体验和大型系统的收入。

排序理由 介绍具有实际部署结果的新颖框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Zikun Liu, Liang Luo, Qianru Li, Zhengyu Zhang, Wei Ling, Jingyi Shen, Zeliang Chen, Yaning Huang, Jingxian Huang, Abdallah Aboelela, Chonglin Sun, Feifan Gu, Fenggang Wu, Hang Qu, Huayu Li, Jill Pan, Kaidi Pei, Laming Chen, Longhao Jin, Qin Huang, Tongy… ·

    SOLARIS:基于潜在表示的推断缩放的推测性卸载

    arXiv:2604.12110v2 Announce Type: replace Abstract: Recent advances in recommendation scaling laws have led to foundation models of unprecedented complexity. While these models offer superior performance, their computational demands make real-time serving impractical, often forci…