一项最新研究探讨了诸如“我认为”或“在我看来”等第一人称短语的频率是否能可靠地指示大型语言模型在压力下是否维持其原始立场。研究通过对Llama-3.1-8B和Qwen2.5-7B模型就12个主题进行多轮提示,收集了超过3000个响应。分析发现,在两个模型之间没有发现一致的简单词频指标能够可靠地追踪立场维持或逆转,尽管其中一个模型在口头立场发生转变但底层提示未变时,倾向于更多地使用“可能”和“或许”等情态动词。 AI
影响 这项研究表明,当前检测LLM立场转变的方法并不可靠,这可能会影响我们评估模型安全性和真实性的方式。
排序理由 学术论文,详细介绍了一种评估LLM行为的新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
- Du Bois
- Fanous et al.
- Flipflop Solitaire+
- I Think
- Laban et al.
- Liu and Cohan
- Llama-3.1-8B
- May
- MIGHT
- Qwen2.5-7B
- SycEval
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →