语义土匪揭示了大型语言模型（LLM）的探索偏见源于语言先验

研究人员引入了“语义土匪”的概念，以分析大型语言模型（LLM）在决策任务中如何探索和利用选项。该框架强调，LLM 的探索行为显著受到其语言预训练产生的语义先验的影响，而不仅仅是任务的正式结构。研究发现，语义信息丰富的标签会导致探索减少和利用增加，如果语义信息与实际奖励结构不匹配，这可能会产生不利影响。此外，LLM 对负奖励比对正奖励更倾向于探索，这表明其基于语言的训练中存在固有的偏见。 AI

影响 揭示了由于语言预训练导致的大型语言模型（LLM）决策中存在的固有偏见，影响了在现实世界应用中的可靠性。

排序理由 学术论文，介绍了一个分析大型语言模型（LLM）行为的新理论框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• large language models
• multi-armed bandit
• ScienceCast
• Semantic Bandits

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →