AI Habitat

OptiSight框架整合语义推理与几何控制，实现具身导航

研究人员推出OptiSight，一个旨在通过整合语义推理与几何控制来增强自主室内导航的新型框架。该系统在思维链架构中利用视觉语言模型（VLM），在关键决策点进行查询以降低计算负荷。Grounded-SAM用于目标定位，相机投影几何将视觉数据转化为导航指令，无需密集建图。在AI Habitat进行的实验表明，OptiSight能够在复杂的室内环境中实现可靠的零样本导航，即使存在语义歧义和障碍物，且运行在8GB显存限制内。