一篇新发表在arXiv上的研究论文分析了大型语言模型中上下文内学习(ICL)和上下文外(OOC)幻觉的机制。该研究提出了一个统一的观点,认为模型动态上下文中的功能角色可以在不总是约束输出的情况下被内部表示。研究确定了角色信息显著影响的两个条件:足够大的贡献幅度和连贯的有符号聚合。因果分析表明,这些角色跨度贡献影响与响应结构、内容和事实准确性相关的关键token选择,并且当角色支持足够强时,失败可能是可逆的。 AI
影响 提供了对大型语言模型如何处理信息和生成响应的更深入理解,可能有助于提高模型可靠性并减少幻觉。
排序理由 该集群包含一篇详细介绍大型语言模型行为机制化分析的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- In-Context Learning
- Gotit.pub
- Hugging Face
- large-language models
- Out-of-Context Hallucination
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →