研究人员开发了一种新方法,通过构建六个开放LLM的输入嵌入的相似性网络来分析大型语言模型(LLM)如何生成文本。该网络揭示了LLM中的知识空间在很大程度上是预训练确定的,并且Token生成通常不涉及图邻居之间的直接移动。研究表明,生成的Token虽然集中在网络内,但并非简单地沿着预定义连接的路径进行,这为LLM的可解释性以及潜在的退化监测提供了新的视角。 AI
影响 提供了一个理解LLM生成的新颖框架,可能有助于更好地监测模型行为。
排序理由 学术论文,详细介绍了一种分析LLM生成的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →