一个可视化 GPT-2 token 嵌入空间的交互式地图已发布。该工具允许用户通过点击 token 并浏览其最近邻连接来探索 token 之间的关系。该可视化基于应用于嵌入表压缩表示的 t-SNE，边代表直接的最近邻关系。 AI
影响 提供了一种理解和探索语言模型内部表示的新颖方式。
排序理由 该集群描述了一个现有模型内部工作机制的可视化工具，属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>32,070 alphabetic tokens from GPT-2-small's WTE, no forward pass and no context.</p> <p>Works on mobile. Pinch to zoom, tap a token to see its nearest connections, tap a neighbour to walk the graph. Search box to jump anywhere.</p> <p>Layout is t…