ROMI-2K

ROMA系统使用大语言模型进行主动、多感官感知

研究人员开发了ROMA，一个新设计用于真实场景中主动感知的大语言模型（LLM）系统。与被动整合感官数据的传统系统不同，ROMA通过与环境互动来主动寻找缺失的信息。该系统整合了视觉、听觉、触觉和力感应，并利用推理-互动-反馈循环来识别和获取必要的证据。为此，创建了一个名为ROMI-2K的大规模数据集，其中包含近2000个物体和6种原子交互。ROMA已证明其能够解决需要长串推理和交互的复杂多感官感知任务。