研究人员调查了大型语言模型(LLMs)的内部表征与其可观察行为之间的关系。通过在八个指令微调的Transformer模型上进行超过1750万次试验,他们将基于相似性的强制选择和自由联想任务的行为数据与模型的隐藏状态几何进行了比较。研究发现,强制选择行为比自由联想更能反映内部状态,这表明行为测量确实可以揭示LLM语义几何的信息。 AI
影响 这项研究深入探讨了大型语言模型的行为与其内部工作机制的关系,可能为未来的模型可解释性和评估方法提供指导。
排序理由 该集群包含一篇在arXiv上发表的研究论文,详细介绍了关于大型语言模型行为和内部状态的实验发现。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- BERT
- CatalyzeX
- DagsHub
- fastText
- Gotit.pub
- Hugging Face
- IArxiv
- Louis Schiekiera
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →