研究人员探索了 GPT-2 Small 模型静态嵌入表中“Trump”这一 token 的嵌入几何形状。通过分析离散和连续表示的 token 嵌入下的最近邻居，他们观察到了不同的结果。离散方法产生了通用的政治术语，而连续方法则揭示了一组更具体的相关个体，包括家庭成员、工作人员和其他总统。 AI
影响 深入了解特定 token 在语言模型的嵌入空间中的表示方式。
排序理由 模型嵌入和 token 几何形状的分析。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
