研究人员开发了一种名为PRISM的新方法，用于检测大型语言模型（LLM）在控制具身智能体时可能带来的物理危险。与传统的基于文本的安全检查不同，PRISM分析LLM的内部状态，以识别将指令与物理世界相结合时产生的风险。这种方法表明，在LLM的表示中，物理危险信号可以与内容危险信号分离。PRISM在旨在测试物理安全性的基准测试中取得了高准确率，在识别潜在有害行为方面显著优于标准的LLM裁判。 AI
影响 这项研究可能为控制物理机器人和智能体的AI系统带来更强大的安全机制，从而降低意外伤害的风险。
排序理由 该集群包含一篇详细介绍LLM安全评估新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.15218v1 Announce Type: new Abstract: Large language models (LLMs) increasingly serve as high-level planners for embodied agents, where linguistically benign instructions can become unsafe once grounded in the physical world. We study whether this physically grounded da…
Large language models (LLMs) increasingly serve as high-level planners for embodied agents, where linguistically benign instructions can become unsafe once grounded in the physical world. We study whether this physically grounded danger is the same safety problem as ordinary text…