Random-Walk Tokenization

论文揭示了用于 Transformer 的图标记化的权衡及其对模型表达能力的影响

一篇新论文探讨了图标记化在将 Transformer 应用于图学习任务中的关键作用。研究人员证明，将图结构转换为标记的方法会显著影响 Transformer 的表达能力以及计算所需的深度。研究表明，某些标记化方法（如随机游走）本质上是有损的，而另一些方法（如谱标记化）可能不适合特定任务。研究结果表明，结合互补的标记化策略可以增强 Transformer 利用多样化结构信号的能力，从而提高性能。