一项新研究使用 delta-SNLI 数据集,调查了大语言模型(LLMs)如何根据新信息更新其概率估计。研究人员发现,当模型直接获得新证据时,其概率估计会显著朝着预期方向移动。然而,当信息被表述为转述而非直接知识时,移动幅度较小,且更可能朝着相反方向移动。研究还观察到,使用多个加权概率估计虽然能减少极端输出,但在某些模型中可能会降低对证据的敏感度。 AI
影响 这项研究突显了大语言模型推理中潜在的偏见,并表明需要仔细的提示工程才能获得可靠的判断辅助。
排序理由 该集群包含一篇详细介绍大语言模型行为实验结果的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →