新的多智能体系统对角色扮演AI智能体进行压力测试

研究人员开发了一个新颖的多智能体平台，旨在严格压力测试角色扮演语言智能体（RPLAs）。该系统采用一个审问者智能体（Interrogator Agent）来应用渐进式对抗策略，一个目标智能体（Target Agent）代表正在评估的角色扮演语言智能体，以及一个评判智能体（Judging Agent）来评估角色保真度、道德遵守和一致性方面的性能。实验表明，这种多策略对抗方法显著降低了 Llama 3.3 70B Instruct、GPT-4o mini 和 Claude 3.5 Haiku 等模型的鲁棒性得分，其中权威性挑战和情感操纵被证明是最有效的攻击方法。 AI

影响 这项研究为评估AI智能体提供了一种更鲁棒的方法，有望在关键应用中实现更安全、更可靠的部署。

排序理由 该集群包含一篇详细介绍AI智能体新评估方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Authority Challenge
• Claude 3.5 Haiku
• GPT-4o mini
• Interrogator Agent
• Judging Agent
• Llama 3.3 70B Instruct
• manipulation
• Role-Playing Language Agents
• Target Agent

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →