multi-agent collusion monitors

新研究强调了评估大型语言模型串谋监测器的陷阱

一篇新发表在arXiv上的研究论文指出了评估大型语言模型（LLMs）多智能体串谋监测器时存在的重大陷阱。研究表明，目前的探测器通常检测的是智能体是否被指示串谋，而不是它是否实际决定串谋。该研究引入了一个基准来区分接收串谋指令的智能体和拒绝指令的智能体，发现现有的探测器在此区分上表现不佳。该论文还强调了评分方法和串谋者的公开论证方面的问题，并提出了一种测试任何串谋监测器的协议，以及为监测任意规模的群体调整扫描统计量的方法。