新框架 ARENA 自动化音频语言模型的红队测试

研究人员开发了 ARENA，一个新颖的闭环框架，用于自动化大型音频语言模型（LALMs）的红队测试。该系统解决了 LALMs 特有的安全挑战，这些模型在结合文本和音频输入时可能表现出有害行为，即使单独的文本是安全的。ARENA 使用一个在文本-音频交互数据集上训练的控制器，MD-Judge 提供奖励和反馈，最终结果由 Llama Guard 3 评估。该框架在各种 LALMs 上取得了显著成功，在 AdvBench 的目标上实现了高误报率和部分成功率。 AI

影响 增强了多模态 AI 的安全测试，有望带来更强大、更安全的音频AI应用。

排序理由 该集群描述了一篇关于音频语言模型红队测试新颖框架的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• AdvBench
• ARENA
• Audio Flamingo 3
• GPTAudio
• Hugging Face
• Large Audio-Language Models
• Llama Guard 3
• MD-Judge
• MiMo-Audio
• Qwen2-Audio

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →