研究人员在大型语言模型中发现了一种称为上下文诱导的现象,模型会给提示中先前见过的 token 分配更高的概率,而不管其相关性如何。这表明一个受语义因素调节的机械过程,模型注意力电路中的特定“诱导头”会导致分心。通过禁用这些诱导头,模型的输出更接近于在没有不相关上下文的情况下产生的输出。另外,一项行为研究评估了大型语言模型如何在利用内部记忆或外部工具(如网络搜索)之间做出决定。研究发现,虽然 GPT-5 mini 和 Grok 4 Fast 等一些模型在搜索外部知识方面具有高度选择性,但 Mistral Small 等其他模型则不太一致,有时即使在必要时也会放弃搜索。 AI
影响 这些研究为理解大型语言模型的机制和决策提供了见解,有望带来更可靠、更高效的 AI 代理。
排序理由 两篇 arXiv 论文详细介绍了关于大型语言模型行为的新研究发现。
- arXiv
- GPT-5 mini
- Grok 4 Fast
- Mistral Small
- alphaXiv
- CatalyzeX
- Confident Fools or Careful Searchers? A Behavioural Study of When LLMs Search Beyond Their Static Internal Memory
- DagsHub
- Gotit.pub
- Hugging Face
- Jingcheng Niu
- Llama See, Llama Do: A Mechanistic Perspective on Contextual Entrainment and Distraction in LLMs
- Pathirage Deelaka Nipun
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →