Semantic Bandits

语义土匪揭示了大型语言模型（LLM）的探索偏见源于语言先验

研究人员引入了“语义土匪”的概念，以分析大型语言模型（LLM）在决策任务中如何探索和利用选项。该框架强调，LLM 的探索行为显著受到其语言预训练产生的语义先验的影响，而不仅仅是任务的正式结构。研究发现，语义信息丰富的标签会导致探索减少和利用增加，如果语义信息与实际奖励结构不匹配，这可能会产生不利影响。此外，LLM 对负奖励比对正奖励更倾向于探索，这表明其基于语言的训练中存在固有的偏见。