3D Morphable Model
PulseAugur coverage of 3D Morphable Model — every cluster mentioning 3D Morphable Model across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的ViDS系统使用3D面部追踪进行逼真的肖像动画
研究人员开发了ViDS，一种新颖的视频扩散着色器，它利用3D面部追踪来创建逼真且保留身份的肖像动画。该系统从参考图像中重建3D可变形模型（3DMM）网格，并使用驱动视频中的表情和姿势数据对其进行动画处理。ViDS采用视频扩散模型作为神经着色器，利用3DMM法线贴图中的密集几何线索生成逼真的动画，从而保持原始外观和身份。与以前的方法相比，该方法在表情和姿势控制方面有所改进，并且自回归扩散采样过程增强了生成片段之间的一致性。
-
新的FIELDS框架增强了3D面部重建，实现了准确的表情推断
研究人员开发了FIELDS，一个新颖的单目3D面部重建框架，专门针对面部表情的准确推断。与以往通常依赖图像级自监督且可能优先考虑几何保真度而非情感效用的方法不同，FIELDS采用了混合2D/3D监督方法。这个任务驱动的框架学习FLAME表情代码以进行面部表情识别，同时保持几何合理性，从而在域内和外部评估中提高了情感预测的准确性。
-
新框架EmoteGPT根据文本生成3D人脸表情
研究人员推出EmoteGPT，一个用于从自然语言描述生成3D人脸表情的新颖框架。该系统利用一个多模态大型语言模型，通过一个专门的token将文本输入转换为3D可变形模型（3D Morphable Model）的参数。该框架在一个名为Txt2Emote的新基准数据集上进行了训练，该数据集包含详细的表情文本注释，并进一步使用了图像到3DMM的数据进行增强。与现有的文本到3D人脸合成方法相比，EmoteGPT在表现力和情感识别方面表现出卓越的性能。
-
研究人员开发单RGB图像3D人脸重建流程
研究人员开发了一种从单个RGB图像重建详细3D人脸模型的新流程。该方法利用卷积神经网络和3D可变形模型（3DMM）来克服在生成具有皱纹等精细细节的逼真数据方面的局限性。该流程包括人脸检测、关键点检测、3DMM参数回归和软渲染。
-
研究人员结合面部视频和生物信号以改进压力检测
研究人员开发了一种新方法，通过结合面部视频分析和生理信号来估算驾驶员的压力水平。这种多模态方法使用3D可变形模型捕捉细微的面部表情和头部运动，然后将其与生物信号数据融合。与仅使用生理信号相比，该系统在准确性和接收器操作特征曲线下面积方面显示出显著的改进，表明其在实际驾驶安全应用中的潜力。