event cameras
PulseAugur coverage of event cameras — every cluster mentioning event cameras across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
New metrics for assessing event camera data integrity will become standard in autonomous driving safety.
The development of a new task-agnostic metric for event camera data integrity in autonomous driving suggests a growing need for standardized evaluation. As event cameras become more integrated into safety-critical systems, such metrics will be crucial for ensuring reliability and performance, potentially leading to industry-wide adoption.
Event camera benchmarks will emerge for diverse applications beyond autonomous driving and action recognition.
Recent evidence highlights new benchmarks for gait recognition (SUSTech1K-E, CCGR-Mini-E) and action recognition (DarkShake-DVS), indicating a trend towards specialized datasets. As event cameras prove their utility in challenging conditions, it's likely that benchmarks will be developed for other domains like robotics, surveillance, or even consumer electronics.
Event cameras are increasingly integrated with traditional RGB cameras for enhanced perception.
Multiple recent papers (EventGait, NRE-Net, Neuromorphic vision enhances object binarization) describe frameworks that combine event camera data with traditional RGB frames. This dual-modal approach appears to be a key strategy for overcoming the limitations of each sensor type, particularly in challenging lighting and motion scenarios.
-
MotionGS-SLAM 利用事件相机解决机器人中的运动模糊问题
研究人员开发了MotionGS-SLAM，一个新颖的同时定位与地图构建（SLAM）系统，通过在其渲染管线中对模糊形成进行建模，有效处理运动模糊。与试图去除模糊的传统方法不同，MotionGS-SLAM利用事件相机捕捉精确的运动线索并自适应地调制高斯核。这种方法将2D高斯投影转换为与运动对齐的笔触，并调整曝光采样，从而在严重的运动条件下也能联合优化相机轨迹和3D场景几何。
-
FLEET方法推动事件相机强化学习发展
研究人员开发了FLEET（通过高效令牌化从事件中学习特征），这是一种专为事件相机在强化学习任务中设计的新型特征提取方法。与先前将事件数据聚合到网格或依赖轨迹数据进行预训练的方法不同，FLEET直接处理事件序列。通过利用随机傅里叶特征和交叉注意力，它将可变事件流压缩为固定大小的潜在表示，将计算成本与传感器分辨率解耦，并实现端到端学习。FLEET在一个新的高吞吐量事件驱动强化学习基准上展示了最先进的性能和更高的鲁棒性。
-
E-S2Feat框架增强事件基局部特征检测
研究人员开发了E-S2Feat，一个新颖的脉冲神经网络框架，专为事件基局部特征检测和描述而设计。该方法通过使用脉冲激活机制实现节能推理来增强特征表示，并通过结合语义先验来优化关键点响应，从而改进特征选择。实验表明，E-S2Feat在姿态估计精度方面优于SuperEvent等现有方法，并且与人工神经网络相比，在计算能效方面有显著提高。
-
EvDiff模型使用扩散模型从事件相机数据重建视频
研究人员开发了EvDiff，一种新颖的一步扩散模型，用于从事件相机数据重建高质量视频。该方法通过采用一种利用大型图像数据集的代理训练框架来解决将稀疏事件流转换为强度图像的病态问题，而无需配对的事件-图像数据。EvDiff旨在从单色事件流生成彩色视频，在像素级和感知指标上均优于现有方法。
-
事件相机特征被分析为运动线索以提高准确性
研究人员分析了事件基角点检测中使用的两个特征，特别是结构张量的特征值和时空密度值，并提出它们充当运动线索。他们的工作从理论上检验了这些特征与运动方向的关系，并通过在合成数据上进行的受控实验对其效用进行了实证验证。将这些增强的特征整合到基于事件的光流网络中，提高了在真实世界DSEC基准测试中的准确性，尤其是在数据稀疏的情况下和对于低容量模型。
-
新的姿态估计方法使用事件相机和高度约束
研究人员开发了一种用于事件相机主动标记系统的新姿态估计方法。该方法利用了约束高度的两点最小求解器，并结合了来自惯性测量单元（IMU）或高度计等车载传感器中的倾斜角和相机高度。该方法提供了闭式解和线性最小二乘解，在合成和真实世界数据上均显示出比现有P2P求解器更高的精度，并与P3P具有竞争力。
-
Sequence-SOD：仿生学SNN目标检测器用于事件相机，提高准确性
研究人员开发了Sequence-SOD，一种用于事件相机的、利用仿生学脉冲神经网络（SNN）的新型目标检测系统。与处理孤立事件间隔的先前方法不同，Sequence-SOD处理扩展的事件序列，跨时间步保留神经状态，以更好地利用时间信息。这种序列感知方法提高了检测精度，在应用数据增强的情况下，在Gen1汽车检测数据集上实现了26.88的平均精度均值（mAP），而单间隔训练的mAP为23.38。该系统可以以40 Hz的理论预测频率运行，突显…
-
RainDancer 框架融合 RGB 和事件相机数据以实现高级视频去雨
研究人员开发了 RainDancer，一个结合 RGB 和事件相机数据的视频去雨新框架。该方法采用“先分解后交互”策略，在融合前分离每个数据流中的雨滴和背景成分。RGB 分支逐步分解帧特征，而事件分支则采用面向雨滴的脉冲神经网络来捕捉雨滴动力学。该方法旨在提高去雨视频的质量和鲁棒性，以用于下游感知任务。
-
新的ASUMOT框架利用事件相机改进无人机跟踪
研究人员开发了ASUMOT，一个使用事件相机检测和跟踪无人机（UAV）的新框架。该系统通过将来自远程无人机的稀疏且碎片化的事件数据建模为一组运动一致的事件斑块，来解决这些数据带来的挑战。ASUMOT利用局部运动一致性估计器、多任务验证器和运动一致性聚类，将碎片化数据聚合成稳定的无人机轨迹。该团队还推出了ES-UAV，一个用于事件级无人机跟踪的新基准数据集。
-
新的EVAD框架通过事件相机增强视频异常检测 · 已追踪2个来源
研究人员开发了一个名为EVAD的新型多模态视频异常检测框架，该框架结合了传统视频流和仿生事件相机的数据。该方法旨在通过利用事件传感器的 ao 高时间分辨率和运动显著性，提高在照明变化和快速运动等挑战性条件下的检测准确性。为了支持这项研究，创建了一个名为 TJUTCM Pha 的大规模基准数据集，其中包含数十亿个事件和数十万个视频帧。EVAD框架包括一种用于学习事件表示的对比式多模态预训练方法和一个用于整合事件和视频数据的自适应融合模块…
-
新的基准测试和强化学习方法旨在调整事件相机偏置
研究人员推出了BiasBench，这是一个新的数据集和框架，旨在帮助调整事件基相机（event-based cameras）的偏置。这些受生物启发的传感器具有高时间分辨率和低延迟等优点，在计算机视觉和机器人领域具有重要价值。然而，由于缺乏自动化工具和事件数据的异步性质，配置其设置（称为偏置）一直具有挑战性。BiasBench旨在通过提供一个具有多个场景的可复现基准测试和一个用于在线偏置调整的新型强化学习方法来解决这一问题。
-
E-TraMamba：基于Mamba的新框架，用于事件相机的三维特征跟踪
研究人员推出了E-TraMamba，一个专为使用事件相机进行高效长期三维特征跟踪而设计的新颖框架。这种基于Mamba的方法通过采用线性状态空间模型来处理长期依赖关系，并采用轻量级仿射变换预测器来提高稳定性，从而解决了当前CNN和Transformer模型在处理稀疏、嘈杂的事件数据方面的局限性。为了便于训练和评估，创建了一个名为EvD-PointOdyssey的大规模合成数据集。实验表明，E-TraMamba的性能显著优于现有方法，在保…
-
受飞蝇启发的神经网络推动事件驱动运动检测发展
研究人员开发了一种受飞蝇视叶启发的视觉运动检测事件驱动框架。该系统集成了事件相机（异步传输亮度变化）和生物结构神经网络。该框架旨在通过结合事件相机的低延迟优势与受生物启发的神经处理的效率和可解释性，来改进自主系统的实时运动检测能力，同时还包含一个用于聚焦前景目标的注意力机制。
-
新的双模态方法增强了实时物体轮廓检测
研究人员开发了一种新颖的双模态方法，用于实时二值化，有效地从视觉数据中创建清晰的物体轮廓。该方法利用传统帧和事件相机数据之间的协同作用，能够在仅CPU的设备上实现无需训练的高帧率处理。该系统解决了运动模糊和恶劣光照等挑战，在减少伪影和提高困难条件下的清晰度方面优于现有技术，同时计算成本更低。其异步特性还解决了事件稀疏性问题，即使在极高帧率下也能保持清晰的目标形状，为资源受限平台上的具身智能中的高效感知铺平了道路。
-
CMTFormer 融合 RGB 和事件相机数据以改进目标检测
研究人员开发了一种名为 CMTFormer 的新方法，通过结合标准 RGB 相机和事件相机的数据来改进目标检测。该方法解决了异构数据流集成带来的挑战，这些挑战可能导致噪声或冗余特征。CMTFormer 采用分层融合策略，包含用于低级特征对齐、跨模态增强和自适应高级聚合的专用模块，以及用于提高定位精度的空间先验模块。在基准数据集上的实验表明，CMTFormer 在单模态和多模态检测场景中均优于现有方法。
-
新的AI框架解决了视觉模型错误和事件相机数据处理问题 · 跟踪3个来源
研究人员推出了一种名为Gazer的新型框架，该框架通过整合来自多模态大型语言模型的反馈来改进自回归视觉模型（AVMs）。Gazer分两个阶段进行：诊断中间生成状态的语义错误，然后纠正生成轨迹。这种方法在无需额外训练的情况下提高了图像和视频合成的语义对齐和组合准确性。此外，还开发了一个名为CapRiCorn-1K的新基准来评估视频字幕和主体指代一致性，结果显示当前模型在这些任务上存在困难，尤其是在视频时长增加时。另外，还提出了一个名为N…
-
新型AI网络融合RGB和事件相机数据以精确重建脉搏波
研究人员开发了一种名为Fusion-E2Pulse的新型多模态网络，以改进非接触式脉搏波重建。该系统结合了传统的RGB视频数据和来自神经形态事件相机（neuromorphic event cameras）的信号。RGB数据有助于减少运动伪影，而事件相机数据则捕捉血管搏动的精细细节。这种融合方法旨在克服每种单独方法的局限性，从而实现更准确的波形形态恢复。
-
新的FEMOT数据集和FEMOTR框架推动多目标跟踪技术发展
研究人员推出了FEMOT，这是一个新的数据集，旨在利用标准的RGB相机和受生物启发的事件相机来推进多目标跟踪。该数据集旨在通过利用事件相机的高时间分辨率和动态范围，克服传统相机在运动模糊和弱光等挑战性条件下的局限性。配套的FEMOTR框架有效地融合了两种相机类型的特征，以改进目标定位和跟踪。
-
EventRadar系统使用事件相机进行远程无人机探测
研究人员开发了EventRadar，一种使用事件相机进行远程无人机（UAV）探测的新型系统。该系统利用了由螺旋桨引起的运动的时空周期性，即使在距离长达1500米、视觉外观退化的情况下，这一线索仍然可见。EventRadar将扫描事件与IMU姿态数据融合，创建场景记忆，区分瞬态目标与背景杂波，并采用专用算法来恢复无人机活动的谐波证据。在测试中，该系统实现了高检测精度，显著减少了假阴性，并证明了实时可行性。
-
新框架从事件相机数据估计自我运动
研究人员开发了一个新框架，用于使用事件相机的异步光流来估计自我运动。该方法可以恢复角速度和线速度，克服了这些传感器异步数据流带来的挑战。提出的优化算法和一种新颖的代数最小5点求解器能够实现全自由度自我运动估计，在准确性和鲁棒性方面优于传统的同步方法。