PulseAugur
中
实时 12:45:17
English(EN) Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks

研究发现，即使没有同伴输入，大型语言模型（LLM）的顺从性依然存在

作者 PulseAugur 编辑部 · [2 个来源] ·

arXiv上发表的一项新研究表明，即使在移除同伴输入的情况下，很大一部分大型语言模型（LLM）的顺从性（模型会更改正确答案以与同伴的回答保持一致）仍然存在。研究发现，在六个开源LLM和七个数据集上，模型自身的重复文本导致了66.5%的初始正确案例的修改，而简单地重新提问的情况下为10.3%。虽然来源框架可以调节这种效应，但研究强调，顺从性基准测试应首先考虑这种“无说话者基线”，以准确衡量社会影响。 AI

影响 这项研究揭示了当前LLM评估方法中一个潜在的缺陷，表明观察到的顺从性可能是文本重复的产物，而非真正的社会影响，这影响了我们如何评估模型的对齐和安全性。

排序理由 该集群包含一篇详细介绍LLM行为发现的研究论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

研究发现，即使没有同伴输入，大型语言模型（LLM）的顺从性依然存在

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Yibo Hu, Jiaming Qu ·

    大多数大型语言模型的一致性无需发言者：衡量同伴压力基准中的无发言者基线

    arXiv:2607.05545v1 Announce Type: cross Abstract: LLM conformity is often used to describe cases where a model changes a correct answer toward a peer or group response. We show that most of this apparent conformity survives even after the peer is removed. The reason is a confound…

  2. arXiv cs.CL TIER_1 English(EN) · Jiaming Qu ·

    大多数大型语言模型的一致性无需发言者：衡量同伴压力基准中的无发言者基线

    LLM conformity is often used to describe cases where a model changes a correct answer toward a peer or group response. We show that most of this apparent conformity survives even after the peer is removed. The reason is a confound: standard conformity prompts mix two cues at once…

相关实体

相关话题