nuscenes-devkit
PulseAugur coverage of nuscenes-devkit — every cluster mentioning nuscenes-devkit across labs, papers, and developer communities, ranked by signal.
-
HorizonDrive 实现分钟级驾驶模拟,具备自纠正能力
研究人员开发了 HorizonDrive,一个新颖的自回归驾驶模拟框架,可在有界内存下实现分钟级的模拟。该方法训练一个教师模型来纠正自身的预测错误,从而提供稳定、长时域的监督。与现有的长时域基线相比,该系统在 nuScenes 数据集上的 FID 和 FVD 指标有了显著提升。
-
Co-Fusion4D框架提升自动驾驶3D目标检测能力
研究人员开发了Co-Fusion4D,一个旨在通过解决时空不一致性来改进自动驾驶3D目标检测的新框架。该系统采用以当前帧为中心的方法,过滤和对齐历史数据,以防止特征漂移并增强时间稳定性。在nuScenes基准测试上的实验表明,Co-Fusion4D在无需测试时增强的情况下取得了最先进的结果。
-
新指标改进自动驾驶地图估计的评估
研究人员开发了新的评估指标SOSPA和PLD,以更准确地评估自动驾驶中使用的在线建图系统。这些指标解决了现有方法(如Chamfer Distance和mAP)的局限性,这些方法未能考虑预测地图元素中点的顺序。在nuScenes数据集上的评估表明,PLD能有效对最先进的建图方法进行排名,并提供详细的错误分析,突出了检测能力是关键瓶颈。
-
复旦大学和上海交通大学提出用于自动驾驶的空间记忆
复旦大学和上海交通大学的研究人员开发了一种新颖的自动驾驶方法,通过检索历史地理信息来整合“空间记忆”。该方法利用GPS数据访问当前位置的街景和卫星图像,并将其与实时传感器数据融合。该系统旨在提供空间先验信息,帮助车辆理解车道线和边界等道路结构,尤其是在传感器可能被遮挡或视野受限的挑战性条件下。“检索增强型自动驾驶”范式将依赖于即时传感器输入转变为实时感知与历史空间上下文的结合。
-
新基准和模型提升了自动驾驶的视觉语言模型能力
研究人员正在开发新的基准和模型,以提高视觉语言模型(VLMs)在自动驾驶中的能力。Drive-P2D 和 DriveSpatial 是新的基准,分别用于评估 VLM 在渐进式感知到决策任务和时空推理方面的能力,突显了当前场景构建和推理的局限性。同时,Fast-dDrive、SparseWorld 和 SpaceDrive 提出了新颖的 VLM 架构和方法,例如块扩散和空间感知注入,通过更好地平衡感知、规划和实时部署需求,来提高自动驾驶…
-
通过逆向运动学实现接地的驾驶VLA达到SOTA性能
研究人员开发了一种新方法,通过将轨迹预测重构为逆向运动学问题来接地驾驶视觉语言模型(VLA)。该方法需要当前和未来的视觉状态,解决了现有VLA仅使用当前状态而导致捷径问题的局限性。新方法包含一个下一视觉状态预测目标和一个专用的逆向运动学网络,使得一个0.5B规模的模型能够达到与规模大得多的7B-8B VLA相当的性能。
-
语言先验提升无监督3D点云分割性能
研究人员开发了LangTail,一个旨在通过解决长尾模糊性问题来改进无监督3D点云分割的新框架。当分割过程中次要对象类别被主导类别所忽视时,就会出现此问题。LangTail整合了来自语言模型的语义知识,以创建更均衡的类别理解,然后用于指导分割,从而更好地识别代表性不足的类别。实验表明,在基准数据集上的平均交并比(mIoU)得分有了显著提高。
-
新的HEAT模型改进了跨多样化环境的自动驾驶性能
研究人员开发了一种名为HEAT的新型轨迹引导学习范式,用于端到端自动驾驶系统。该方法旨在通过围绕规划轨迹组织训练并结合世界模型,来提高在多样化和异构驾驶环境中的性能。HEAT有助于捕获域不变表示,并减轻由域特定变化引起的偏差,在nuScenes、NAVSIM和Waymo等基准测试中显示出显著的改进。
-
WeatherOcc3D利用VLM提升恶劣天气下3D预测能力
研究人员开发了一个名为WeatherOcc3D的新框架,该框架利用视觉语言模型(VLMs)来改善恶劣天气条件下的3D语义占用预测。该系统利用CLIP的潜在空间和特定于天气的文本嵌入,动态调整摄像头和LiDAR传感器数据的融合。这种自适应方法在晴朗的白天优先考虑摄像头特征,在下雨的夜晚优先考虑LiDAR特征,在nuScenes数据集上的表现显著优于传统的融合方法。
-
CLOVER框架通过闭环价值估计增强自动驾驶规划
研究人员开发了CLOVER,一个旨在改进端到端自动驾驶规划系统的新型框架。该方法通过生成多样化的候选轨迹并使用评分器预测用于排序的规划指标子分数,来解决常见的训练-评估不匹配问题。CLOVER采用闭环自蒸馏方法来优化生成器和评分器,在NAVSIM和NavHard等基准测试中取得了最先进的性能。
-
新方法通过跨视图监督改进高清地图构建
研究人员开发了一种名为跨视图监督(CVS)的新方法,利用来自多个摄像机的鸟瞰图(BEV)表示来改进高清地图的构建。传统方法在处理不完整数据和视角效应方面存在困难,而CVS将几何知识从俯视视角转移到基于摄像机的编码器。该技术在不改变推理架构的情况下增强了结构一致性,从而显著提高了精度,尤其是在更远的距离上。
-
Random-Set GNNs 增强图学习中的不确定性量化
研究人员引入了随机集图神经网络(RS-GNNs)来解决图学习中的不确定性量化问题。该新框架使用证据函数形式主义来模拟节点级别的认知不确定性。在包括自动驾驶基准在内的九个数据集上的实验表明,RS-GNNs 提供了改进的不确定性估计能力。
-
驾驶模型性能取决于时间采样频率
研究人员调查了时间采样频率对端到端自动驾驶轨迹预测模型的影响。他们发现,虽然通常认为密集的帧采样可以提高性能,但事实并非总是如此。较小的模型通常在较低或中等采样频率下表现最佳,这表明密集采样可能会引入冗余信息和噪声,给容量有限的模型带来负担。然而,较大的、类似视觉语言模型风格的架构,即使在测试的最高采样频率下,性能也持续提升。
-
AI研究推动自动驾驶感知与安全发展
研究人员正在开发先进的AI技术以改进自动驾驶系统。其中一种方法CaAD专注于因果感知端到端建模,以更好地预测车辆和代理的交互,在基准测试中表现强劲。另一种方法Enhanced HOPE使用自适应感知,根据场景复杂性调整计算,并结合时间记忆来跟踪被遮挡的物体。此外,生成式AI正被用于创建多样化的合成行人数据,以训练更鲁棒的感知模型,突显了跨域训练的优势和局限性。最后,一种新颖的攻击范式利用了视图诱导的轨迹操纵,使用静态伪装欺骗自动驾驶汽…
-
新的神经符号架构改进了自动驾驶场景理解
研究人员开发了InfoCoordiBridge,这是一种新颖的神经符号架构,旨在提高自动驾驶系统中场景理解的可靠性。该架构解决了语言模型作为后处理器集成时可能放大来自冲突传感器数据的错误的问题。InfoCoordiBridge通过输出结构化事实并将多源传感器数据对齐到一个统一的摘要中进行推理,从而在感知和推理之间架起桥梁,显著减少了冗余并提高了事实依据。
-
BEVCALIB 模型使用鸟瞰图特征进行激光雷达-相机标定
研究人员开发了 BEVCALIB,一种用于标定激光雷达和相机传感器的新颖方法,这对于自动驾驶系统至关重要。该方法利用从两种传感器类型中提取并融合到共享空间中的鸟瞰图 (BEV) 特征。一项关键创新是特征选择器,它识别关键的几何信息,从而提高效率并减少内存使用。BEVCALIB 在 KITTI 和 NuScenes 等基准数据集上设定了新的最先进性能,在平移和旋转精度方面显著优于现有方法。
-
DynFlowDrive 模型通过基于流的动态世界建模增强自动驾驶能力
研究人员推出了一种新颖的潜在世界模型 DynFlowDrive,旨在提高自动驾驶系统的可靠性。该模型利用流基动态来预测各种驾驶行为下的未来场景演变,超越了传统的外观生成或确定性回归方法。DynFlowDrive 采用一种考虑稳定性的轨迹选择策略,根据诱导的场景转换来评估潜在路径,在 nuScenes 和 NavSim 基准测试中表现出改进的性能,且推理时间没有增加。
-
MapRF 使用 NeRF 引导的自训练进行弱监督高清地图构建
研究人员开发了 MapRF,一个新颖的框架,仅使用 2D 图像标签为自动驾驶系统构建高清 (HD) 地图。这种弱监督方法利用神经辐射场 (NeRF) 生成伪标签,然后通过自训练迭代地精炼地图网络。一个关键组件,Map-to-Ray Matching,有助于将地图预测与相机射线对齐以减少误差。在 Argoverse 2 和 nuScenes 数据集上的实验表明,MapRF 实现了与完全监督方法相当的性能,使得高清地图构建更具可扩展性和成本效益。
-
SimPB++模型统一自动驾驶中的二维和三维物体检测
研究人员开发了SimPB++,这是一个端到端的模型,旨在为多摄像头自动驾驶系统同时检测透视图中的二维物体和鸟瞰图中的三维物体。该模型采用了一种新颖的混合解码器架构,该架构可交互地耦合二维和三维解码器,并具有动态查询分配和自适应查询聚合功能,以获得更精细的三维表示。SimPB++还采用了远程感知策略,并支持混合监督,减少了对大量三维标注的需求。
-
激光雷达单传感器高精地图构建方法通过知识蒸馏增强语义线索
研究人员开发了LIE,一种仅使用激光雷达数据构建自动驾驶高精地图的新方法。该方法通过利用知识蒸馏来增强对激光雷达点云和强度图的语义理解,克服了基于相机的局限性。与最先进的基于相机的模型相比,LIE表现出更优越的性能,在各种条件下实现了更高的准确性和鲁棒性,并显示出对新数据集的高效适应性。