Hugging Face Daily Papers 的一篇新论文研究了大语言模型图软提示中的“Token 折叠”现象。当学习到的图 Token 变得无法区分,仅作为通用提示而非传达特定关系结构时,就会出现此问题。研究发现,这些折叠的 Token 对准确率影响甚微,有时恒定的提示也能取得相当的性能。该论文提出直接评估图-Token 对齐的方法,而非仅依赖任务准确率,并建议采用两阶段程序来缓解 Token 折叠。 AI
影响 强调了当前基于图的 LLM 提示技术的一个关键限制,表明需要新的评估方法和模型架构。
排序理由 学术论文,详细介绍了 LLM 提示中的一个特定现象。 [lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- graph neural network
- G-Retriever
- Hugging Face Daily Papers
- KGQA
- LoRA+
- On the Token Collapse Phenomenon in Textual Graph Soft Prompting
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →