PulseAugur
中
实时 09:07:44
English(EN) LoKA: Low-precision Kernel Applications for Recommendation Models At Scale

LoKA框架为大型推荐模型实现低精度FP8

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了LoKA，一个旨在使低精度算术（特别是FP8）在大型推荐模型（LRMs）中实用的框架。与LLMs不同，LRMs对数值精度敏感，当直接应用FP8时，质量会下降或训练时间延长。LoKA通过系统-模型协同设计方法解决了这个问题，包括通过分析来识别安全的低精度使用，调整模型组件以提高稳定性和效率，以及使用运行时来选择满足精度要求的最快FP8内核。 AI

影响 能够更有效地训练推荐模型，可能带来更快速的个性化AI服务的开发和部署。

排序理由 该集群包含一篇学术论文，详细介绍了用于优化AI模型训练的新技术框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LoKA框架为大型推荐模型实现低精度FP8

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Liang Luo, Yinbin Ma, Quanyu Zhu, Vasiliy Kuznetsov, Yuxin Chen, Neng Shi, Jian Jiao, Jiecao Yu, Buyun Zhang, Tongyi Tang, Xiaohan Wei, Yanli Zhao, Zeliang Chen, Yuchen Hao, Venkatesh Ranganathan, Sandeep Parab, Yantao Yao, Maxim Naumov, Chunzhi Yang, Sh… ·

    LoKA: Low-precision Kernel Applications for Recommendation Models At Scale

    arXiv:2605.10886v3 Announce Type: replace-cross Abstract: Recent GPU generations deliver significantly higher FLOPs using lower-precision arithmetic, such as FP8. While successfully applied to large language models (LLMs), its adoption in large recommendation models (LRMs) has be…

相关实体

相关话题