optical flow
PulseAugur coverage of optical flow — every cluster mentioning optical flow across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新算法MoViD运用光子学原理实现实时视频运动检测
一种名为MoViD（Motion estimation via Virtual dispersion and phase Detection）的新算法已被开发出来，其灵感来源于光子时域拉伸技术。这种基于物理学的方法将视频像素视为光时间序列，通过分析光谱展宽和诱导的相位偏移来检测运动。MoViD直接在宽带视频信号上运行，处理速度远超传统的（光流法）或基于学习的方法，能够实现高分辨率的实时运动分析。
-
发布新的可变形3D重建评估基准
研究人员推出了Synthetic Deformable Tubular Benchmark，这是一个旨在评估可变形3D重建的新数据集。该基准使用LumenMorph工具包生成，包含5,580张RGB图像，并为各种运动条件下的相机位姿、几何、形变场和材料对应关系提供了详细的标注。该数据集旨在提供一个受控的合成参考，用于评估3D重建方法的准确性和能力，区分配准覆盖范围和几何精度。
-
混合框架通过姿态图优化精炼运动恢复结构
研究人员开发了一个混合框架，该框架增强了用于运动恢复结构任务的基于学习的ACE-Zero方法。这种新方法集成了姿态图优化（PGO）来精炼相机姿态和场景坐标，解决了ACE-Zero缺乏全局一致性约束所固有的姿态漂移和未对齐问题。通过从ACE-Zero的输出构建姿态图，并采用一种利用对极几何和光流一致性等几何先验的、感知不确定性的优化策略，该框架提高了姿态估计的鲁棒性和准确性。
-
WorldForge V2 增强视频扩散模型中的相机控制
研究人员开发了 WorldForge V2，一个旨在增强视频扩散模型中相机轨迹控制的新框架。该方法采用一种无需训练的引导方法，通过选择性地引导与运动相关的潜在通道来沿着目标相机路径优化生成内容。为了提高效率并减少伪影，WorldForge V2 包含一个用于近似校正的 v-cache 和一个采用两阶段策略训练的 Trajectory LoRA 适配器，从而能够以最少的数据实现有效的相机控制，并泛化到新场景。
-
脉冲神经网络框架在光流估计方面达到最先进水平
研究人员开发了SICAF，一种使用脉冲神经网络进行自监督事件驱动光流估计的新型框架。该方法解决了从不规则事件流中提取时空特征以及防止潜在表示中的冗余等挑战。SICAF采用“紧凑压缩、时变焦点”策略，并结合可学习的时间注意力来增强特征选择性和上下文感知能力。实验表明，SICAF在自监督SNN方面取得了最先进的性能，在准确性和对抗攻击的鲁棒性方面均有显著提高。
-
新系统使用编解码器运动矢量进行快速在线动作检测
研究人员开发了CodecMotion-OAD，一种用于视频在线动作检测的新颖系统，该系统利用编解码器运动矢量（MVs）代替传统的光流。这种方法通过利用视频解码过程中可用的MVs，大大降低了计算负担，无需单独进行密集的光流计算。虽然在THUMOS'14基准测试上的性能略低于基于光流的方法，但CodecMotion-OAD提供了显著的速度提升，使其成为实时视频分析的更有效解决方案。
-
新CoDy框架利用视频编解码器动力学进行无监督动作定位
研究人员推出了一种用于视频无监督时间动作定位的新颖框架CoDy。CoDy利用视频编解码器量化模式中固有的动力学，这些模式已被证明可以保留类别判别信息并突出动作转换。通过将这种编解码器增强的视图与传统的RGB和光流表示相结合，CoDy生成可靠的伪标签和一种与类别无关的边界先验。该方法在THUMOS14和ActivityNet v1.3等基准数据集上展示了最先进的性能，将编解码器信号确立为用于动作识别和定位的有效的无标注先验。
-
AI模型在扑翼飞行器扑翼计数方面的比较
研究人员使用光流数据，评估了三种类型的时间模型——卷积、脉冲和基于注意力——在扑翼飞行器中计数扑翼次数的性能。该研究在MuJoCo模拟环境中，使用虚拟Crazyflie飞行器进行，并在不同距离下比较了模型的性能。虽然所有模型在扑翼计数方面都表现出高精度，但由于训练和鲁棒性的差异，结果并未确立不同架构之间的明确排名。
-
综述论文对高动态范围成像方法进行分类
这篇综述论文对多重曝光高动态范围（HDR）成像的现有文献进行了分类和分析。它侧重于两个关键领域：多重曝光融合（MEF）和鬼影去除技术。论文考察了传统的基于滤波的方法和现代的数据驱动方法，特别是深度学习技术，后者根据其对齐和融合域（像素空间 vs. 特征空间）进一步分类。它还讨论了常用的数据集、评估指标，并概述了未来的研究方向。
-
基于视觉的触觉传感器因局限性在具身AI领域受到质疑
一项近期分析质疑了基于视觉的触觉传感器（VBTS）作为具身AI基础技术的生存能力。文章认为，尽管VBTS很受欢迎，但它严重依赖借鉴的视觉算法和现成的硬件组件，导致进入门槛低和市场饱和。此外，VBTS固有的物理局限性，如结构厚度、无法适应复杂表面以及多指应用集成方面的重大挑战，使其不适合广泛的工业部署。分析总结认为，材料柔软度以换取灵敏度与硬度以换取耐用性之间的根本权衡，加上集成和成本问题，使得VBTS对于机器人技术的未来而言是一项高风…
-
AI进展解决视频生成一致性和速度问题
近期在AI驱动的视频生成领域的研究侧重于提高一致性和效率。ContextAnyone通过将参考图像视为共享扩散Transformer中的显式锚点来解决角色一致性问题，防止嘈杂的视频特征影响身份保持。FlashRender通过表示对齐和均值流目标来加速生成式视频渲染，以显著降低的采样成本实现高质量合成。Temporal Context Routing (TCR) 通过精确对齐脚本时间与时间轴来增强脚本驱动的音频-视频生成，大幅减少镜头切…
-
PoseOFF 改进机器人人类动作预测 · 跟踪 2 个来源
研究人员开发了 PoseOFF，这是一种新颖的姿态锚定光流表示，旨在改善人机交互中的人类动作预测。该方法捕获人体关节周围的局部运动，使机器人能够更早、更有效地理解人类意图。PoseOFF 通过处理较少的动作序列且无需进行全帧运动分析，在低延迟场景下展示了更高的识别准确率。
-
新方法整合深度学习中的偶然性和认知不确定性
研究人员开发了一种用于深度学习模型不确定性量化（UQ）的新方法，特别适用于高维输出空间。该方法联合建模偶然性不确定性（解释数据噪声）和认知不确定性（反映模型置信度）。通过用低秩加对角协方差结构近似联合不确定性，该方法在没有完整协方差矩阵的计算开销的情况下捕获了重要的输出相关性。这种统一的二阶分布支持稳健的下游分析，并在图像修复、着色、光流和深度估计等任务中展示了卓越的 UQ 性能。
-
梯度能量张量为图像增强提供更快、实时的选择
一篇新的研究论文提出梯度能量张量作为结构张量在各种图像处理任务中的可行替代方案。该研究展示了其在角点检测、光流估计和图像增强中的应用。实验表明，使用梯度能量张量可以在GPU上实现实时图像增强，在不影响图像质量的情况下将帧率提高40%。
-
新方法利用时间对齐改进手语识别
研究人员开发了一种新颖的手语识别方法，采用了迁移学习和一种称为TA3N的域自适应方法。该方法利用时间关系网络（TRN）来对齐多尺度时间特征，与标准的基于神经网络的迁移学习相比，表现出更优越的性能，尤其是在美国手语（ASL）方面。实验还表明，对齐短期时间特征是有效的，并且对于手语样本，RGB数据通常优于光流。
-
使用高斯泼溅和光流实现3D火焰重建
研究人员开发了一种新颖的方法，使用基于高斯函数时空表示的3D动态火焰重建。该技术旨在通过分离静态背景和易挥发火焰区域，从有限数量的摄像机视图中捕捉火焰复杂的、高频的特征。该系统利用密集的多视图立体图像、单目深度先验以及从光流派生的3D流场来初始化火焰，其中单个3D高斯编码寿命和速度以实现精确的时间对齐。
-
基于视频的系统无需穿戴设备即可计数帕金森病患者步数 · 已追踪 2 个来源
研究人员开发了一种新颖的基于视频的框架，可被动地计算帕金森病患者的步数，解决了当前基于穿戴式设备方法的局限性。该系统利用 3D 人体网格恢复从足部运动信号估计初始步数，并利用光流和交叉注意力机制优化这些估计，以捕捉细粒度的步态动力学。通过采用多实例学习，该框架整合了剪辑式运动嵌入来预测剩余步数，在真实世界帕金森病转弯数据集上表现出卓越的性能。
-
新的SAC^2-Net通过语义锚定推进微表情识别
研究人员开发了SAC^2-Net，一种旨在通过解决细微的面部运动和有限数据等挑战来改进微表情识别（MER）的新型网络。该系统利用了光流和运动放大的互补性质，这两种方法通常表现出不对称的失败模式。SAC^2-Net使用源自动作单元（AUs）的语义锚定来对齐这些视觉模态，然后采用一种可靠性感知融合技术来有效地整合信息。在多个基准测试上的实验表明，SAC^2-Net在各种MER评估设置中取得了最先进的性能。
-
新的三角一致性方法增强光流学习
研究人员引入了一种名为三角一致性的新方法来学习光流。该技术充当通用约束，可应用于各种网络架构、监督类型和数据集，包括图像对和多帧场景。通过组合两个流生成第三个流并强制执行一致性，该方法计算开销极小，无需额外注释，从而在监督、无监督和迁移学习环境中取得持续改进。
-
新框架增强了动态场景下的红外小目标检测能力
研究人员开发了一个新的框架，用于在动态场景中检测红外小目标，解决了目标、成像平台和背景之间运动耦合的挑战。该方法引入了一种解耦的运动表示学习方法，将全局相干运动动力学与目标敏感的局部运动异常分离开来。该框架利用预训练的光流先验知识和一种保持结构的自监督适应策略来实现红外运动对应。在基准数据集上的实验表明，该方法在复杂动态场景下优于现有的最先进方法，同时保持了高效的推理速度。