textual graph soft prompting

研究论文揭示图软提示方法中的“令牌坍塌”现象

一篇新发表在arXiv上的研究论文详细介绍了一种在文本图软提示方法中观察到的“令牌坍塌”现象，特别是在G-Retriever系统中。这种坍塌导致特定于图的令牌在不同输入之间几乎相同，使其无法有效地传达关系信息。研究发现，这些坍塌的令牌更像通用的软提示，在某些情况下，恒定提示的表现与G-Retriever相当甚至更好。研究还探讨了导致这种坍塌的条件，并提出了一种生成非坍塌令牌的方法，同时还研究了这些令牌可能如何反映不同类型的信息。