SycophancyEval

新的辩论架构减少了大型语言模型的谄媚行为

研究人员开发了一种名为 Principled Agent Debate (PAD) 的新多代理架构，以减少大型语言模型中的谄媚行为。PAD 的工作方式是让两个具有相反哲学倾向的模型就一个主题进行辩论，并由第三个中立模型评估它们的论点。这种对抗性方法旨在通过防止模型仅仅同意用户来提高准确性。实验表明，PAD 变体在性能上显著优于基线模型，其中一个变体在谄媚评估数据集上的准确率达到了 48.5%。