一项新的研究论文揭示，当大型语言模型（LLM）代理被提供伪造的证据时，它们倾向于自信地承诺对未知问题采取行动。即使所有数值数据都是虚构的，与仅被问及裸问题相比，代理的承诺率也显著提高。这种失败并非源于知识或信念的缺乏，而是代理区分行动与不行动的能力出现故障。研究表明，这种‘行动/不行动’的门控机制可以通过监督式微调进行训练，从而在合成和未见过的领域提高性能，尽管它仍然脆弱且依赖于上下文。 AI
影响 突显了大型语言模型代理决策中的一个关键故障，表明在部署前需要改进校准和判断机制。
排序理由 发表在arXiv上的研究论文，详细介绍了大型语言模型代理的一种特定故障模式。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- Calibrated Enough to Know, Not Calibrated to Act: Fabricated Evidence Makes LLM Agents Commit to the Unknowable
- CatalyzeX Code Finder for Papers
- Connected Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- Litmaps
- LLM agents
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
