Liang Luo

LoKA框架为大型推荐模型实现低精度FP8

研究人员开发了LoKA，一个旨在使低精度算术（特别是FP8）在大型推荐模型（LRMs）中实用的框架。与LLMs不同，LRMs对数值精度敏感，当直接应用FP8时，质量会下降或训练时间延长。LoKA通过系统-模型协同设计方法解决了这个问题，包括通过分析来识别安全的低精度使用，调整模型组件以提高稳定性和效率，以及使用运行时来选择满足精度要求的最快FP8内核。