RhythmJEPA

新的RhythmJEPA框架增强了从面部视频估计生理信号的能力

研究人员开发了一个名为RhythmJEPA的新框架，用于远程光电容积脉搏波描记法（rPPG），该方法可从面部视频估计生理信号。该方法通过专注于学习潜在的生理动力学，而不仅仅是重建视觉元素，从而改进了现有技术。RhythmJEPA包含一个循环节奏状态规划器来模拟脉冲信号的时间结构，以及一个双阶Mamba编码器来捕捉局部和长程依赖关系。在多个数据集上的实验表明，与其他rPPG方法相比，该方法具有竞争力。