研究人员推出了AscendGYM,这是一个旨在评估昇腾NPU上大型语言模型内核优化的新基准测试。该基准测试侧重于优化现有实现,而不仅仅是内核生成,并使用真实世界的工作负载作为其测试用例。AscendGYM支持两种评估模式,并引入了加速-Token分数(STS)指标来评估相对于成本的性能提升。 AI
影响 为在特定硬件上优化LLM性能提供了新工具,可能提高训练和推理效率。
排序理由 该集群包含一篇详细介绍AI基础设施新基准测试的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →