Mostafa 'Neo' Mohsenvand

新研究通过新颖的层设计挑战 Transformer 的局限性

一篇新研究论文探讨了标准 Transformer 模型在学习复杂图结构和 SET 等游戏方面的局限性。作者提出了一种新颖的方法，使用高阶层和特定的通道设计，在 Transformer 模型表现不佳的任务上展示了改进的性能。他们的发现表明，通过分析层内的“见证者”并调整逆温度等参数，这些新模型可以用比现有大型模型少得多的参数取得更好的结果。