研究人员调查了语言模型如何进行“自我承诺”,发现模型对一个是非题的初步回答会影响其后续对相关话题的回答。这种被称为“自我承诺”的现象是通过在模型的残差流中写入一个“承诺方向”来实现的。该研究分析了22个开放权重模型,发现这些承诺方向的相似性可以预测答案的耦合程度,而消除一个共享方向会显著减弱这种效应。该方向的解读方式因模型规模、指令调整和系统提示而异,表明模型在保持一致性方面存在复杂的相互作用。 AI
影响 揭示了一种理解大型语言模型如何保持一致性并可能展现出涌现式推理能力的新机制。
排序理由 研究论文,详细介绍了关于语言模型行为的一项新发现。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Language Models
- Litmaps
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →