SafeText

新的PRISM方法可检测LLM行动中超越文本安全的物理危险

研究人员开发了一种名为PRISM的新方法，用于检测大型语言模型（LLM）在控制具身智能体时可能带来的物理危险。与传统的基于文本的安全检查不同，PRISM分析LLM的内部状态，以识别将指令与物理世界相结合时产生的风险。这种方法表明，在LLM的表示中，物理危险信号可以与内容危险信号分离。PRISM在旨在测试物理安全性的基准测试中取得了高准确率，在识别潜在有害行为方面显著优于标准的LLM裁判。