event cameras
PulseAugur coverage of event cameras — every cluster mentioning event cameras across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
New metrics for assessing event camera data integrity will become standard in autonomous driving safety.
The development of a new task-agnostic metric for event camera data integrity in autonomous driving suggests a growing need for standardized evaluation. As event cameras become more integrated into safety-critical systems, such metrics will be crucial for ensuring reliability and performance, potentially leading to industry-wide adoption.
Event camera benchmarks will emerge for diverse applications beyond autonomous driving and action recognition.
Recent evidence highlights new benchmarks for gait recognition (SUSTech1K-E, CCGR-Mini-E) and action recognition (DarkShake-DVS), indicating a trend towards specialized datasets. As event cameras prove their utility in challenging conditions, it's likely that benchmarks will be developed for other domains like robotics, surveillance, or even consumer electronics.
Event cameras are increasingly integrated with traditional RGB cameras for enhanced perception.
Multiple recent papers (EventGait, NRE-Net, Neuromorphic vision enhances object binarization) describe frameworks that combine event camera data with traditional RGB frames. This dual-modal approach appears to be a key strategy for overcoming the limitations of each sensor type, particularly in challenging lighting and motion scenarios.
-
新的脉冲驱动跟踪器EM-SDTrack提高了事件相机的效率
研究人员开发了EM-SDTrack,一种专为事件相机设计的新型脉冲驱动跟踪系统。事件相机以其稀疏输出和在神经形态硬件上的高效率而闻名。该系统通过引入脉冲驱动多尺度交互(SDMI)和二元脉冲采样(DSS)来解决多尺度目标表示的挑战,从而在单次脉冲传递中实现高效的跨尺度交互。为了在资源有限的边缘设备上部署,研究人员使用极性优先蒸馏(PPD)和极性引导曲率蒸馏(PGCD)创建了一个精简版本EM-SDTrack,该版本在显著降低能耗和参数数量…
-
新AI框架增强HDR视频重建和新视角合成
研究人员开发了HIVE-Diff,一个用于从单个低动态范围(LDR)帧和事件相机数据重建高动态范围(HDR)视频的扩散框架。该方法通过实现时间扩展和内容补全来解决现有方法的局限性,并使用具有教师-学生蒸馏的合成数据进行训练,以适应真实世界场景。另外,一个名为PriorGS的新框架利用3D高斯泼溅和基增益表示,从单曝光LDR图像合成HDR新视角,并结合学习到的先验知识以改进重建和重新曝光。
-
新的MvT方法通过多视图投影增强了基于事件的目标跟踪
一篇新论文介绍了MvT,一种用于基于事件的多目标跟踪的多视图投影方法,旨在通过保留2D数据格式并引入额外的时空视图来提高准确性。这种方法有助于解决单视图系统中可能出现的跟踪歧义,尤其是在目标轨迹重叠或空间接近时。在包括新收集的数据集在内的多个数据集上的评估表明,MvT的性能优于现有跟踪器,并且无需训练,因此适用于无法进行地面实况标注的场景。
-
基于Transformer的TLEIO可实现事件相机的精确运动估计
研究人员开发了Tight Learned Event-Inertial Odometry (TLEIO),这是一种新颖的基于Transformer的架构,用于从事件相机数据中进行精确的运动估计。该系统名为EventsFormer,处理体素化的事件流以预测局部位移和相关不确定性,然后将其与惯性测量单元(IMU)数据紧密融合。与现有方法相比,TLEIO在准确性和运行时间方面取得了显著改进,在基准测试中平均ATE降低了50%以上,并且优于基…
-
LiFR v2 框架通过事件相机融合增强密集预测
研究人员推出 LiFR v2,一个结合 RGB 相机和事件相机实现高帧率密集预测的新框架。该系统通过利用事件相机的时序密度,即使在 RGB 数据稀疏或缺失的情况下,也能解决 RGB 相机的局限性。LiFR v2 包含一个事件引导补全模块 (EGCM) 来填充缺失信息,以及一个历史检索模块 (HRM) 来重用已补全的数据,从而实现语义分割和深度估计等任务的实时性能。
-
AI研究探索推理、法律概念和模型偏见
近期研究探索了AI的各个方面,包括通过门控答案重采样(GAR)改进递归推理模型,显著提升了复杂谜题的性能。另一项研究调查了大型语言模型(LLMs)如何内化法律概念,发现专家定义的因素在其激活中是线性可解码的。此外,一篇论文检查了大型语言模型(LLMs)推荐AI相关选项的倾向的起源,追溯到预训练和微调数据。llama.cpp项目发布了更新,包括对多序列拆分重放和部分状态情况的修复,并得到了Qwen3.8-Flash-GGUF的协助。
-
事件相机在挑战性条件下展现出合成孔径成像的潜力
一项仿真研究探讨了事件相机在合成孔径成像(SAI)中的应用,该技术通常使用帧相机来消除遮挡。研究人员发现,在帧相机失效的高速明亮场景下,事件相机即使在数据速率受限的情况下也能重建目标。然而,在低光照条件或较慢速度下,事件相机在重建质量方面与帧相机相比没有显著优势。在事件相机表现优异的挑战性明亮快速场景中,其数据速率最高。
-
新的二值表示使二值神经网络能够高效处理事件相机数据
研究人员推出了一种新颖的二值表示方法——极向二值事件体积(PBEV),旨在使二值神经网络(BNNs)能够处理来自事件相机的数据。这项进展旨在弥合高效深度学习模型与事件相机低延迟、高动态范围能力之间的差距。研究表明,来自RGB数据的跨模态预训练可以提高BNN在神经形态数据集上的准确性,在N-Caltech101基准测试中,评估出的最佳BNN准确率达到90.58%,同时使用的运算量比全精度模型少7.5倍。
-
Spiking Patches 标记化将事件相机效率提升 10 倍
研究人员开发了一种名为 Spiking Patches 的新方法来处理事件相机的数据,事件相机捕获异步稀疏的视觉信息。这种新颖的标记化技术保留了事件相机的独特性质,而之前的基于帧或体素的方法则无法做到。实验表明,Spiking Patches 与图神经网络 (GNNs)、PCN 和 Transformers 结合使用时,在手势识别和物体检测等任务中可以达到相当或甚至更优的准确性,同时将推理时间显著缩短高达 10.4 倍。
-
MotionGS-SLAM 利用事件相机解决机器人中的运动模糊问题
研究人员开发了MotionGS-SLAM,一个新颖的同时定位与地图构建(SLAM)系统,通过在其渲染管线中对模糊形成进行建模,有效处理运动模糊。与试图去除模糊的传统方法不同,MotionGS-SLAM利用事件相机捕捉精确的运动线索并自适应地调制高斯核。这种方法将2D高斯投影转换为与运动对齐的笔触,并调整曝光采样,从而在严重的运动条件下也能联合优化相机轨迹和3D场景几何。
-
FLEET方法推动事件相机强化学习发展
研究人员开发了FLEET(通过高效令牌化从事件中学习特征),这是一种专为事件相机在强化学习任务中设计的新型特征提取方法。与先前将事件数据聚合到网格或依赖轨迹数据进行预训练的方法不同,FLEET直接处理事件序列。通过利用随机傅里叶特征和交叉注意力,它将可变事件流压缩为固定大小的潜在表示,将计算成本与传感器分辨率解耦,并实现端到端学习。FLEET在一个新的高吞吐量事件驱动强化学习基准上展示了最先进的性能和更高的鲁棒性。
-
E-S2Feat框架增强事件基局部特征检测
研究人员开发了E-S2Feat,一个新颖的脉冲神经网络框架,专为事件基局部特征检测和描述而设计。该方法通过使用脉冲激活机制实现节能推理来增强特征表示,并通过结合语义先验来优化关键点响应,从而改进特征选择。实验表明,E-S2Feat在姿态估计精度方面优于SuperEvent等现有方法,并且与人工神经网络相比,在计算能效方面有显著提高。
-
EvDiff模型使用扩散模型从事件相机数据重建视频
研究人员开发了EvDiff,一种新颖的一步扩散模型,用于从事件相机数据重建高质量视频。该方法通过采用一种利用大型图像数据集的代理训练框架来解决将稀疏事件流转换为强度图像的病态问题,而无需配对的事件-图像数据。EvDiff旨在从单色事件流生成彩色视频,在像素级和感知指标上均优于现有方法。
-
事件相机特征被分析为运动线索以提高准确性
研究人员分析了事件基角点检测中使用的两个特征,特别是结构张量的特征值和时空密度值,并提出它们充当运动线索。他们的工作从理论上检验了这些特征与运动方向的关系,并通过在合成数据上进行的受控实验对其效用进行了实证验证。将这些增强的特征整合到基于事件的光流网络中,提高了在真实世界DSEC基准测试中的准确性,尤其是在数据稀疏的情况下和对于低容量模型。
-
新的姿态估计方法使用事件相机和高度约束
研究人员开发了一种用于事件相机主动标记系统的新姿态估计方法。该方法利用了约束高度的两点最小求解器,并结合了来自惯性测量单元(IMU)或高度计等车载传感器中的倾斜角和相机高度。该方法提供了闭式解和线性最小二乘解,在合成和真实世界数据上均显示出比现有P2P求解器更高的精度,并与P3P具有竞争力。
-
Sequence-SOD:仿生学SNN目标检测器用于事件相机,提高准确性
研究人员开发了Sequence-SOD,一种用于事件相机的、利用仿生学脉冲神经网络(SNN)的新型目标检测系统。与处理孤立事件间隔的先前方法不同,Sequence-SOD处理扩展的事件序列,跨时间步保留神经状态,以更好地利用时间信息。这种序列感知方法提高了检测精度,在应用数据增强的情况下,在Gen1汽车检测数据集上实现了26.88的平均精度均值(mAP),而单间隔训练的mAP为23.38。该系统可以以40 Hz的理论预测频率运行,突显…
-
RainDancer 框架融合 RGB 和事件相机数据以实现高级视频去雨
研究人员开发了 RainDancer,一个结合 RGB 和事件相机数据的视频去雨新框架。该方法采用“先分解后交互”策略,在融合前分离每个数据流中的雨滴和背景成分。RGB 分支逐步分解帧特征,而事件分支则采用面向雨滴的脉冲神经网络来捕捉雨滴动力学。该方法旨在提高去雨视频的质量和鲁棒性,以用于下游感知任务。
-
新的ASUMOT框架利用事件相机改进无人机跟踪
研究人员开发了ASUMOT,一个使用事件相机检测和跟踪无人机(UAV)的新框架。该系统通过将来自远程无人机的稀疏且碎片化的事件数据建模为一组运动一致的事件斑块,来解决这些数据带来的挑战。ASUMOT利用局部运动一致性估计器、多任务验证器和运动一致性聚类,将碎片化数据聚合成稳定的无人机轨迹。该团队还推出了ES-UAV,一个用于事件级无人机跟踪的新基准数据集。
-
新的EVAD框架通过事件相机增强视频异常检测 · 已追踪2个来源
研究人员开发了一个名为EVAD的新型多模态视频异常检测框架,该框架结合了传统视频流和仿生事件相机的数据。该方法旨在通过利用事件传感器的 ao 高时间分辨率和运动显著性,提高在照明变化和快速运动等挑战性条件下的检测准确性。为了支持这项研究,创建了一个名为 TJUTCM Pha 的大规模基准数据集,其中包含数十亿个事件和数十万个视频帧。EVAD框架包括一种用于学习事件表示的对比式多模态预训练方法和一个用于整合事件和视频数据的自适应融合模块…
-
新的基准测试和强化学习方法旨在调整事件相机偏置
研究人员推出了BiasBench,这是一个新的数据集和框架,旨在帮助调整事件基相机(event-based cameras)的偏置。这些受生物启发的传感器具有高时间分辨率和低延迟等优点,在计算机视觉和机器人领域具有重要价值。然而,由于缺乏自动化工具和事件数据的异步性质,配置其设置(称为偏置)一直具有挑战性。BiasBench旨在通过提供一个具有多个场景的可复现基准测试和一个用于在线偏置调整的新型强化学习方法来解决这一问题。