Symmetric MAD

多智能体系统中的LLM评判在评估准确性方面表现不一

两篇新研究论文探讨了使用大型语言模型（LLM）进行评估的多智能体系统（MAS）的有效性。第一篇论文侧重于客观问答，发现虽然生成的候选答案中通常包含正确答案，但系统仍可能收敛于错误答案。研究还表明，评判者的可靠性因任务而异，并且将答案频率与评判者评估相结合可将准确性从63.82%提高到70%以上。第二篇论文研究了主观评估，发现单一评判者基线通常优于多智能体共识，特别是在严格的角色扮演引入了共识无法纠正的向下偏差时。这种偏差可能导致人为的…