研究人员开发了一种面向边缘的注意力层,旨在提高图生成模型的可扩展性。该新层将结构信息整合到注意力分数中,并使用轻量级机制进行动态边缘更新,将峰值 GPU 内存使用量减少约 65%,并提高训练和采样吞吐量。所提出的架构使用 PyTorch 的 FlexAttention 实现,为创建可扩展的图基础模型提供了一种实用的方法。 AI
影响 这项研究为训练图生成模型提供了一种更有效的方法,有可能实现更大、更复杂的图基础模型。
排序理由 详细介绍图生成模型新技术方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →