PulseAugur
实时 20:44:00
English(EN) Context Is King: How In-Context Specification Shapes the Geometry of Concepts

研究发现:LLM 的概念几何形状由语境决定,而非预训练

一篇题为“语境为王:语境内指定如何塑造概念的几何形状”的新研究论文探讨了大型语言模型如何表示结构化概念。研究表明,提供给模型的语境内指定可以覆盖其预训练知识,即使使用任意标记,也能决定诸如周期或树等概念的几何结构。这种效应在更大的模型(如 Gemma-31B 和 Qwen-27B)中更为明显,激活修补证实了这种强加几何形状的因果使用。 AI

影响 表明 LLM 的行为比之前理解的更易通过提示进行塑造,影响提示工程和模型可解释性。

排序理由 学术论文,详细介绍了关于 LLM 行为的新颖发现。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

研究发现:LLM 的概念几何形状由语境决定,而非预训练

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Elad David, Max Fomin ·

    语境为王:上下文规范如何塑造概念的几何形状

    arXiv:2607.24425v1 Announce Type: new Abstract: Large language models place structured concepts on geometrically faithful manifolds: weekdays lie on a circle, months on another, usually taken to be a fixed world-model the network stores and looks up. We show that context is king:…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    语境为王:上下文规范如何塑造概念的几何形状

    Large language models place structured concepts on geometrically faithful manifolds: weekdays lie on a circle, months on another, usually taken to be a fixed world-model the network stores and looks up. We show that context is king: the structure a model actually uses is set by t…