event cameras
PulseAugur coverage of event cameras — every cluster mentioning event cameras across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
New metrics for assessing event camera data integrity will become standard in autonomous driving safety.
The development of a new task-agnostic metric for event camera data integrity in autonomous driving suggests a growing need for standardized evaluation. As event cameras become more integrated into safety-critical systems, such metrics will be crucial for ensuring reliability and performance, potentially leading to industry-wide adoption.
Event camera benchmarks will emerge for diverse applications beyond autonomous driving and action recognition.
Recent evidence highlights new benchmarks for gait recognition (SUSTech1K-E, CCGR-Mini-E) and action recognition (DarkShake-DVS), indicating a trend towards specialized datasets. As event cameras prove their utility in challenging conditions, it's likely that benchmarks will be developed for other domains like robotics, surveillance, or even consumer electronics.
Event cameras are increasingly integrated with traditional RGB cameras for enhanced perception.
Multiple recent papers (EventGait, NRE-Net, Neuromorphic vision enhances object binarization) describe frameworks that combine event camera data with traditional RGB frames. This dual-modal approach appears to be a key strategy for overcoming the limitations of each sensor type, particularly in challenging lighting and motion scenarios.
-
新的基准测试和强化学习方法旨在调整事件相机偏置
研究人员推出了BiasBench，这是一个新的数据集和框架，旨在帮助调整事件基相机（event-based cameras）的偏置。这些受生物启发的传感器具有高时间分辨率和低延迟等优点，在计算机视觉和机器人领域具有重要价值。然而，由于缺乏自动化工具和事件数据的异步性质，配置其设置（称为偏置）一直具有挑战性。BiasBench旨在通过提供一个具有多个场景的可复现基准测试和一个用于在线偏置调整的新型强化学习方法来解决这一问题。
-
E-TraMamba：基于Mamba的新框架，用于事件相机的三维特征跟踪
研究人员推出了E-TraMamba，一个专为使用事件相机进行高效长期三维特征跟踪而设计的新颖框架。这种基于Mamba的方法通过采用线性状态空间模型来处理长期依赖关系，并采用轻量级仿射变换预测器来提高稳定性，从而解决了当前CNN和Transformer模型在处理稀疏、嘈杂的事件数据方面的局限性。为了便于训练和评估，创建了一个名为EvD-PointOdyssey的大规模合成数据集。实验表明，E-TraMamba的性能显著优于现有方法，在保…
-
受飞蝇启发的神经网络推动事件驱动运动检测发展
研究人员开发了一种受飞蝇视叶启发的视觉运动检测事件驱动框架。该系统集成了事件相机（异步传输亮度变化）和生物结构神经网络。该框架旨在通过结合事件相机的低延迟优势与受生物启发的神经处理的效率和可解释性，来改进自主系统的实时运动检测能力，同时还包含一个用于聚焦前景目标的注意力机制。
-
新的双模态方法增强了实时物体轮廓检测
研究人员开发了一种新颖的双模态方法，用于实时二值化，有效地从视觉数据中创建清晰的物体轮廓。该方法利用传统帧和事件相机数据之间的协同作用，能够在仅CPU的设备上实现无需训练的高帧率处理。该系统解决了运动模糊和恶劣光照等挑战，在减少伪影和提高困难条件下的清晰度方面优于现有技术，同时计算成本更低。其异步特性还解决了事件稀疏性问题，即使在极高帧率下也能保持清晰的目标形状，为资源受限平台上的具身智能中的高效感知铺平了道路。
-
CMTFormer 融合 RGB 和事件相机数据以改进目标检测
研究人员开发了一种名为 CMTFormer 的新方法，通过结合标准 RGB 相机和事件相机的数据来改进目标检测。该方法解决了异构数据流集成带来的挑战，这些挑战可能导致噪声或冗余特征。CMTFormer 采用分层融合策略，包含用于低级特征对齐、跨模态增强和自适应高级聚合的专用模块，以及用于提高定位精度的空间先验模块。在基准数据集上的实验表明，CMTFormer 在单模态和多模态检测场景中均优于现有方法。
-
新的AI框架解决了视觉模型错误和事件相机数据处理问题 · 跟踪3个来源
研究人员推出了一种名为Gazer的新型框架，该框架通过整合来自多模态大型语言模型的反馈来改进自回归视觉模型（AVMs）。Gazer分两个阶段进行：诊断中间生成状态的语义错误，然后纠正生成轨迹。这种方法在无需额外训练的情况下提高了图像和视频合成的语义对齐和组合准确性。此外，还开发了一个名为CapRiCorn-1K的新基准来评估视频字幕和主体指代一致性，结果显示当前模型在这些任务上存在困难，尤其是在视频时长增加时。另外，还提出了一个名为N…
-
新型AI网络融合RGB和事件相机数据以精确重建脉搏波
研究人员开发了一种名为Fusion-E2Pulse的新型多模态网络，以改进非接触式脉搏波重建。该系统结合了传统的RGB视频数据和来自神经形态事件相机（neuromorphic event cameras）的信号。RGB数据有助于减少运动伪影，而事件相机数据则捕捉血管搏动的精细细节。这种融合方法旨在克服每种单独方法的局限性，从而实现更准确的波形形态恢复。
-
新的FEMOT数据集和FEMOTR框架推动多目标跟踪技术发展
研究人员推出了FEMOT，这是一个新的数据集，旨在利用标准的RGB相机和受生物启发的事件相机来推进多目标跟踪。该数据集旨在通过利用事件相机的高时间分辨率和动态范围，克服传统相机在运动模糊和弱光等挑战性条件下的局限性。配套的FEMOTR框架有效地融合了两种相机类型的特征，以改进目标定位和跟踪。
-
EventRadar系统使用事件相机进行远程无人机探测
研究人员开发了EventRadar，一种使用事件相机进行远程无人机（UAV）探测的新型系统。该系统利用了由螺旋桨引起的运动的时空周期性，即使在距离长达1500米、视觉外观退化的情况下，这一线索仍然可见。EventRadar将扫描事件与IMU姿态数据融合，创建场景记忆，区分瞬态目标与背景杂波，并采用专用算法来恢复无人机活动的谐波证据。在测试中，该系统实现了高检测精度，显著减少了假阴性，并证明了实时可行性。
-
新框架从事件相机数据估计自我运动
研究人员开发了一个新框架，用于使用事件相机的异步光流来估计自我运动。该方法可以恢复角速度和线速度，克服了这些传感器异步数据流带来的挑战。提出的优化算法和一种新颖的代数最小5点求解器能够实现全自由度自我运动估计，在准确性和鲁棒性方面优于传统的同步方法。
-
事件相机重建碎片轨迹用于弹头分析
研究人员开发了一种事件驱动的方法来重建碎片的动态轨迹并测量其力学参数，即使在具有挑战性的爆炸场景下也是如此。该方法利用新颖的受大脑启发的事件相机，该相机提供微秒级的时间分辨率和高动态范围，以克服强烈闪光和烟雾带来的限制。该系统采用多种几何约束和一个概率模型来准确过滤不匹配并重建三维轨迹，从而能够计算碎片速度和动能。这项技术旨在为评估弹头碎片场和增强战术防护设计提供关键数据。
-
新的几何框架利用事件相机估计位姿与速度
研究人员开发了一个新的几何框架，利用事件相机估计物体的绝对位姿和速度。该方法利用场景中的三维线条及其触发的事件，填补了以往技术主要关注速度估计的空白。该框架利用几何约束，为位姿估计实现了高效的线性及全局最优多项式求解器，并为速度估计实现了线性及基于优化的求解器，最少需要三个事件-线条对应关系。
-
TIDES模拟器为事件相机实现更高保真度的事件流
研究人员开发了TIDES，一种用于事件相机的创新连续时间事件模拟器。与先前从帧序列推断时间戳的模拟器不同，TIDES使用动态高斯泼溅方法直接从显式3D场景表示中导出每像素的强度动态。该方法可以准确预测渲染步骤中的多个事件交叉，并为自适应时间步长建模遮挡动态，从而实现更高保真度的事件流。与现有模拟器相比，TIDES模拟的事件在实际下游任务中的可迁移性得到了证明。
-
事件相机增强动态环境下的6D物体姿态跟踪
研究人员开发了一种新颖的6D物体姿态跟踪方法，该方法利用事件相机，在动态环境中提供了显著优势。该方法融合了运动和外观信息，使用基于事件的光流进行姿态传播，并使用基于模板的模块进行校正。这种无需学习的技术在与最先进算法相比时，表现相当或更优，尤其是在快速移动的物体上，而传统的RGB-D相机在这些物体上会受到运动模糊和帧率限制的影响。
-
新方法利用事件相机处理连续光流
两篇新研究论文提出了使用事件相机估计光流的新颖方法。LC-Flow 引入了一种循环神经网络，通过累积事件数据来保持时间连续性，解决了基于帧和无状态方法的局限性。第二篇论文《From Contrast to Consistency》提出了一个混合监督框架，强调时空结构一致性和轨迹连续性，克服了有限的真实数据带来的挑战，并提高了运动连贯性。
-
新的Transformer模型提升事件到视频重建质量
研究人员开发了一种名为MSFET-E2V的新模型用于事件到视频重建，旨在将事件相机产生的异步事件流转换为密集的视频帧。这种新颖的多尺度频率增强Transformer模型利用跨域注意力模块，融合了时空特征和从离散小波变换获得的频率感知表示。该方法通过考虑低频和高频分量来增强细节保留和鲁棒性，并包含一个用于伪影抑制的小波增强跳跃块。实验表明，MSFET-E2V在重建质量上优于现有的最先进方法，同时还减少了参数、内存使用和推理时间。
-
新的 Transformer 模型可从事件相机数据预测显著性
研究人员推出 SEST，这是一种新颖的基于 Transformer 的模型，用于从基于事件的相机数据预测视觉显著性。这项工作通过引入两个新基准 N-DHF1K 和 N-UCF Sports（从现有的 RGB 显著性数据集中生成）来解决相关数据集稀缺的问题。SEST 表现强劲，优于之前的基于事件的方法，并缩小了与最先进的 RGB 模型之间的差距，同时还显示了向真实世界事件相机数据迁移的能力。
-
新的NRE-Net框架利用几何先验提升基于事件的目标检测性能
研究人员开发了NRE-Net，一个新颖的三模态框架，旨在增强自动驾驶系统的目标检测能力，尤其是在具有挑战性的光照条件下。这种新方法整合了从RGB图像派生的表面法线图，以提供几何约束，这对于克服事件相机产生的误导性事件信号至关重要。该框架的自适应双流融合模块和事件模态感知融合模块有效地结合了结构先验、外观上下文和动态事件数据，与现有方法相比，性能有了显著提升。
-
新度量评估自动驾驶安全所需的事件相机数据
研究人员开发了一种新的无任务度量，用于评估事件相机数据流的完整性，这对于自动驾驶系统中的安全关键感知至关重要。该度量基于皮尔逊相关系数，无需下游任务性能数据即可直接应用于异步事件流。所提出的框架产生了三个用于流完整性监控、感兴趣区域自适应选择和时间冗余门控的特定度量，解决了近期基准测试中发现的差距。
-
EventGait 使用事件相机实现鲁棒步态识别
研究人员开发了 EventGait，一种使用事件相机进行步态识别的新型双流框架。该方法分别处理运动和形状信息，利用混合脉冲专家进行动态感知，并利用跨模态结构对齐进行形状表示。为了促进研究，他们还引入了两个新基准 SUSTech1K-E 和 CCGR-Mini-E，以及一个用于基于事件的步态数据的合成流程。与传统的基于相机的方法相比，EventGait 在弱光条件下表现出卓越的性能，并在基于事件的步态识别基准上设定了新的最先进水平。