研究人员开发了一种名为CutBCE的新颖方法，用于优化大型词汇推荐系统中的二元交叉熵（BCE）损失。该方法解决了在海量商品目录上训练模型时出现的内存限制和内存溢出错误。CutBCE利用JAX和Pallas通过硬件加速，实现精确的融合重构和自定义向量-雅可比积（Vector-Jacobian Product）的片上计算，以避免在大带宽内存（High Bandwidth Memory）中存储大型张量。在TPU v5e/v6e和8芯片TPU切片上对具有87.6万件商品的SASRec进行的基准测试表明，在保持可比准确性的同时，峰值内存使用量显著降低，训练速度也大幅提升。 AI
影响 通过克服内存限制和提高计算效率，实现了大型词汇推荐系统的训练。
排序理由 该集群包含一篇研究论文，详细介绍了针对特定机器学习任务的新算法方法及其实现。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
