PulseAugur
中
实时 20:55:15

新理论将LLM的上下文内学习建模为几何信念空间轨迹

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员提出了一个新框架来理解大型语言模型（LLMs）如何在给定上下文中进行学习。他们的工作表明，LLMs通过在低维几何空间（称为概念信念空间）上进行贝叶斯推理来更新其行为。通过分析LLMs在故事理解任务上的表现，该研究发现这些信念更新遵循结构化流形上的可预测轨迹，这反映在模型的外部行为和内部表示中。此外，对这些内部表示的干预可以对信念轨迹产生因果影响，支持了LLM信念动态的几何解释。 AI

影响 提出了一个理解LLM上下文内学习的几何框架，有望实现更可预测和可控的模型行为。

排序理由 该集群包含一篇详细介绍理解LLM行为新理论框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新理论将LLM的上下文内学习建模为几何信念空间轨迹

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Ekdeep Singh Lubana ·

    Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space

    Large Language Models (LLMs) update their behavior in context, which can be viewed as a form of Bayesian inference. However, the structure of the latent hypothesis space over which this inference operates remains unclear. In this work, we propose that LLMs assign beliefs over a l…

相关实体

相关话题