RGB cameras
PulseAugur coverage of RGB cameras — every cluster mentioning RGB cameras across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的WorkIng数据集增强了自动驾驶汽车在高速公路施工区域的导航能力
研究人员推出了一款名为WorkIng的新基准数据集，旨在提高自动驾驶汽车在高速公路施工区域的导航能力。该数据集包含真实世界和合成数据，解决了现有基准未能捕捉这些关键区域独特几何形状和监管差异的局限性。WorkIng-Highway提供广泛的360°多模态数据，并同步了LiDAR、RGB摄像头和RTK-GPS，而WorkIng-CARLA则在各种场景和国际交通标准下提供程序化模拟。
-
视觉-语言模型难以对机器人进行细粒度的热活动识别
一项新近发表在arXiv上的研究，调查了视觉-语言模型（VLMs）在热成像中用于人类活动理解和人机交互（HRI）时的性能。研究发现，尽管这些模型能够识别一般的活动类别，但它们在识别咳嗽或打哈欠等细粒度动作时遇到困难，经常出现幻觉事件，并产生不准确的时间线。该研究评估了包括为机器人设计的模型在内的七个VLMs，发现简单的预处理和额外的推理仅提供了有限的改进，突显了在实际机器人应用中的可靠性问题。
-
视觉-语言模型在机器人精细热活动识别方面存在困难
一项新研究评估了七种视觉-语言模型（VLMs）在利用热成像理解人类活动以进行人机交互（HRI）方面的有效性。研究发现，虽然这些模型能够识别一般性活动，但在识别咳嗽或打喷嚏等具体的精细动作方面存在困难。此外，模型经常生成不准确的事件时间线并虚构动作，这限制了它们在实际机器人应用中的可靠性。
-
LiFR v2 框架通过事件相机融合增强密集预测
研究人员推出 LiFR v2，一个结合 RGB 相机和事件相机实现高帧率密集预测的新框架。该系统通过利用事件相机的时序密度，即使在 RGB 数据稀疏或缺失的情况下，也能解决 RGB 相机的局限性。LiFR v2 包含一个事件引导补全模块 (EGCM) 来填充缺失信息，以及一个历史检索模块 (HRM) 来重用已补全的数据，从而实现语义分割和深度估计等任务的实时性能。
-
LICOA系统将投影光视为空间AR的具身动作
研究人员开发了LICOA系统，该系统将投影光视为移动空间增强现实的具身动作。LICOA使用差速驱动底盘和可控镜面，根据语言指令和视觉输入来控制投影的位置、尺度和方向。为解决训练数据不足的问题，创建了一个匹配的模拟环境和包含150个任务的语料库，使得仅在该数据上训练的模型能够在真实、未见过的环境中有效运行。
-
新的mmHRI框架使用雷达实现隐私保护的人机交互
研究人员开发了mmHRI，一个新颖的隐私保护人机交互（HRI）框架，该框架使用毫米波（mmWave）雷达代替传统的RGB摄像头。这种方法通过感知人类运动而不捕获可识别的图像，解决了敏感环境中的隐私问题。mmHRI系统采用双流架构和基于内存的状态空间模型来有效处理稀疏且不一致的雷达数据，估计人类动作和3D姿态。然后，这些估计被转化为视觉-语言-动作策略的指令，从而实现闭环机器人操作和人类感知反应，在隐私保护场景中达到85.09%的动作识别准确率。
-
新的无标记视频分析可量化小鼠震颤
研究人员开发了一种新颖的、非侵入性的方法，仅使用标准的RGB摄像头来量化小鼠模型中的病理性震颤。该方法旨在克服现有方法（如肌电图和加速度计）的局限性，这些方法可能成本高昂、复杂且具有侵入性。新流程包括基于分割的预处理以分离小鼠，以及专门的震颤评分估算模块来检测细微的振荡。实验表明与加速度计测量结果高度相关，验证了该系统在捕捉震颤强度方面的准确性。
-
门控融合在HARMES数据集多模态活动识别中领先
研究人员使用HARMES数据集对七种多模态人类活动识别的传感器融合技术进行了比较研究。研究发现，门控多模态融合取得了最高的性能，宏F1分数达到0.82。该方法比基线基于拼接的晚期融合高出6个百分点。实验代码已在GitHub上公开。
-
新的FEMOT数据集和FEMOTR框架推动多目标跟踪技术发展
研究人员推出了FEMOT，这是一个新的数据集，旨在利用标准的RGB相机和受生物启发的事件相机来推进多目标跟踪。该数据集旨在通过利用事件相机的高时间分辨率和动态范围，克服传统相机在运动模糊和弱光等挑战性条件下的局限性。配套的FEMOTR框架有效地融合了两种相机类型的特征，以改进目标定位和跟踪。
-
新型紧凑型模型集成多项自动驾驶感知任务
研究人员开发了一种新型紧凑型深度学习模型，用于自动驾驶，可同时执行多项感知任务。该模型在一个前向传播中集成了语义分割、深度估计、LiDAR分割和鸟瞰图投影。它利用自适应损失加权算法来解决跨任务的失衡学习问题，并融合来自RGB摄像头、动态视觉传感器和LiDAR的数据，以实现全面的环境理解。该模型以更少的参数展示了卓越的性能，从而实现了更快的推理速度和更低的GPU内存使用量，并在模拟和真实世界数据集上取得了持续一致的结果。
-
新方法解决二维三维跨模态步态识别问题
两篇新的研究论文介绍了跨模态步态识别的新方法，旨在提高在二维摄像头和三维激光雷达等不同传感模态下识别个体的能力。DiffCrossGait 利用潜在扩散模型在根本上对齐步态轨迹，而不仅仅是最终的嵌入，从而促进模态不变的特征。TCFDNet 采用文本引导特征解耦，利用大型语言模型生成步态模式的语义描述，并对齐视觉和文本特征以实现更鲁棒的识别。
-
RadarSim 使用摄像头数据提高雷达模拟精度
研究人员开发了 RadarSim，这是一种新颖的可微分渲染器，它利用 RGB 摄像机的高角分辨率来模拟多普勒雷达测距图像。该方法从摄像头数据初始化神经场，与仅使用雷达的重建方法相比，能够生成更清晰的几何形状和更详细的雷达测距帧。该系统使用新的校准雷达-摄像头录制数据集进行了验证，证明了其在提高雷达模拟方面的有效性。
-
基于事件的摄像头提高了击球影响估算的准确性
研究人员开发了一个新的框架，使用基于事件的摄像头来准确估算击球影响的时间。该方法通过提供微秒级分辨率和高动态范围，解决了传统RGB摄像头和IMU的局限性。该系统生成高密度事件帧，并采用带有新颖损失函数的掩码细化网络来提高分割精度，在真实数据集上实现了平均绝对误差63%的降低。
-
事件相机利用眼动动力学以95%的准确率检测活体
研究人员探索了使用事件相机进行人脸活体检测，重点关注眼动动力学。与传统RGB相机不同，事件相机以高时间分辨率捕获异步亮度变化，能够精确分析扫视等眼球运动。这些相机能够区分真实和重放序列，因为重放攻击难以复制自然的眼动动力学，从而产生可检测的时空模式。该研究使用脉冲卷积神经网络实现了高达95.37%的准确率，表明其在鲁棒性和低延迟活体检测方面具有潜力。
-
发布新数据集“ParkingScenes”用于自动泊车研究
研究人员发布了ParkingScenes，一个旨在改进自动泊车系统的新型多模态数据集。该数据集使用CARLA模拟器构建，包含结构化泊车轨迹以及来自多个摄像头和深度传感器的同步传感器数据。它包含16个倒车入库和6个平行泊车场景，并考虑了行人存在情况下的变化，总计704个回合。与非结构化数据相比，该数据集旨在为基于学习的泊车策略提供更好的监督。