Jitoma

机器人框架JITOMA使用LLM优化3D场景图

研究人员开发了JITOMA，一个旨在提高机器人领域3D场景图（3DSGs）效率的新型框架。该系统通过采用即时增长过程来对抗感知饱和，仅动态处理与任务相关的信息。JITOMA利用自上而下的任务热力图来过滤观测，并根据后端大型语言模型（LLM）的查询激活特定的子图。引入了一个新的基准JITOMA-Bench来评估这些动态能力，结果显示在保持稳定处理时间的同时，图的大小和字幕生成延迟显著降低。