一篇新的研究论文探讨了图神经网络中的“注意力汇聚点”现象，并将其与大型语言模型进行了对比。与通常将注意力集中在第一个令牌的大型语言模型不同，像GRIT这样的图神经网络在分子上很少表现出这种“注意力汇聚点”行为。研究表明，图的对称性和局部性可能会限制注意力，但在分子上，注意力评分函数本身是阻止汇聚点的关键因素。用点积替换GRIT的门控logit会显著增加汇聚点速率，这表明注意力汇聚点是点积注意力的一个特性，而不是Transformer的普遍特性。 AI
影响 这项研究阐明了图神经网络如何处理信息，有望为分子和基于图的数据分析带来更高效、更有效的模型。
排序理由 一篇发布在arXiv上的研究论文，详细介绍了关于图神经网络的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
