研究人员开发了 Nova，这是一款端到端的即时 (JIT) 编译器，旨在通过对硬件和内存进行精细控制来优化深度学习模型的性能。Nova 通过融合操作、优化内存层次结构以及调优到寄存器级别的执行来实现这一点，从而实现积极的全局图优化。评估显示，Nova 在特定任务上可媲美或超越 cuBLAS 和 XLA，在模型吞吐量方面优于 PyTorch 和 XLA，并且至关重要的是，它减小了内存占用，从而能够在消费级 GPU 上训练更大的模型，否则这些模型会因内存不足 (Out-Of-Memory) 错误而失败。 AI
影响 Nova 的内存优化和全局图编译有可能在消费级硬件上训练更大的模型，从而可能使先进人工智能开发的访问民主化。
排序理由 该条目描述了在学术论文中提出的一种用于深度学习模型的新编译器。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
