MediaPipe
PulseAugur coverage of MediaPipe — every cluster mentioning MediaPipe across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
新型Transformer模型增强了带口罩人脸识别能力
研究人员开发了PLGSA-Transformer，一个新颖的人脸识别框架，解决了面部口罩带来的挑战。该系统利用眼周地标引导的空间注意力来聚焦于眼睛和额头周围可见的面部区域，并整合了EfficientNetB3的特征。混合CNN-Transformer架构处理这些特征，而遮挡自适应余弦阈值则根据预测的遮挡严重程度调整匹配分数。该模型表现出高精度，在一个包含遮挡和未遮挡人脸的数据集上实现了97.22%的对验证准确率，优于先前的方法。
-
Google 的摄像头手部扫描 reCAPTCHA 被测试者迅速绕过 · 跟踪 3 个来源
Google 正在测试一种新的 reCAPTCHA 系统，该系统使用摄像头扫描用户的手部，绘制 21 个点来验证人类身份。这项实验性功能是 Google Cloud Fraud Defense 的一部分，旨在比旧方法更有效地对抗机器人。然而，测试者很快就能够使用手部照片绕过该系统，这引发了对其安全性和为合法用户增加的摩擦的担忧。Google 表示，视频素材在验证后会被删除，并且不与用户身份相关联，但隐私问题依然存在。
-
新的门控情感Transformer改进了人类运动预测
研究人员开发了一种名为门控情感Transformer（GAT）的新方法，通过将面部情感线索与身体姿势数据相结合来改进人类运动预测。研究发现，简单地组合这些模态会降低准确性，但GAT的门控机制可以动态调节信息流，抑制噪声同时利用相关的情感信号。研究表明，面部情感主要在短到中期时间窗口内提供预测线索，表明它是一种补充线索，而不是未来运动的主要驱动因素。
-
AI触摸检测框架在真实移动打字重建方面遇到困难
一篇新研究论文详细介绍了一个用于通过视频监控检测移动键盘触摸事件的多模态框架。该系统集成了手部地标检测、肤色过滤、运动检测和边缘分析来重建打字序列。然而，该框架的成功率有限，在模拟视频上达到了16.7%的低F1分数，并且由于手部遮挡和过多的误报等问题，未能推广到真实、不受控的视频片段。
-
虚拟戒指试戴系统利用AI实现逼真放置
研究人员开发了一种新颖的虚拟戒指试戴系统，允许用户查看戒指戴在手指上的效果。该系统使用MediaPipe进行手部关键点检测，并使用YOLO-V8进行戒指对象检测，以准确地将戒指放置并调整大小到用户的手部图像上。该方法通过计算角度差异并根据手指粗细重新缩放戒指来确保感知真实性。
-
新AI工具Envisage通过新颖的评估指标可视化鼻整形效果
研究人员开发了Envisage，一个使用基于扩散模型的生成编辑来可视化鼻整形手术预期结果的新流程。该系统旨在提供局部编辑，并包含一个新颖的评估协议SurgicalScore，该协议将评估分解为编辑方向、幅度、掩码LPIPS、真实性和掩码外像素的保留。Envisage在关键指标上展示了优于现有方法（如ICEdit和InstructPix2Pix）的性能，表明局部编辑保真度比全脸身份分数更适合此类应用。
-
已撤回的研究论文详述了基于CPU的跌倒检测系统
一篇已被撤回的研究论文提出了一种用于老年人护理的跌倒检测系统，该系统可在标准CPU上高效运行。该系统利用MediaPipe框架的姿态估计算法来分析运动和身体姿势，无需额外的传感器或高端硬件。这种方法旨在为辅助生活设施中的居民安全监控提供一种实用且资源高效的解决方案。
-
AI框架利用VLM和RAG实现运动员画像数字化
研究人员开发了一种新颖的基于LLM的整体运动员画像框架，旨在克服传统手动或基础计算机视觉评估方法的局限性。该框架由LangGraph编排，整合了用于运动学追踪的计算机视觉和用于语义推理的Vision-Language Models，并特别符合印度体育局的协议。为了管理计算需求并防止幻觉，该框架采用了时间分块策略、LLM-as-a-Judge自我纠错循环以及使用ChromaDB进行自然语言查询的双持久化RAG管道。
-
AR手部姿态估计对受损手部准确
一篇新发表在arXiv上的研究调查了增强现实（AR）应用中手部姿态估计的准确性，特别是针对手部有损伤的个体。研究人员将HoloLens 2头戴显示器与HaMeR和MediaPipe等最先进的算法进行了比较，参与者包括颈部脊髓损伤者和未受伤的对照组。研究结果表明，两组之间的姿态估计准确性相当，并且HoloLens 2可能适用于手部康复。
-
开源EyeTheia工具箱提供基于网络的眼动追踪
研究人员开发了EyeTheia，一个开源、轻量级的深度学习眼动追踪流水线，使用标准网络摄像头进行眼动追踪。该系统结合了面部标志提取和卷积神经网络，提供实时追踪，适用于基于浏览器的实验和临床研究。在MPIIFaceGaze数据集上的性能评估表明，在使用校准之前，适应预训练模型和从头开始训练都能获得可比的结果，而用户特定的微调进一步减少了预测误差。在Dot-Probe任务中，EyeTheia与商业追踪器表现出高度一致性，为低成本眼动追踪提…
-
AI系统提供实时运动表现分析
研究人员开发了一种轻量级原型，用于通过无标记深度学习进行实时运动表现分析。该系统集成了人体姿态估计（HPE）和特定运动逻辑，以最少的计算资源向用户提供基于AI的反馈。这种方法超越了旧的基于标记的运动捕捉系统，为通过可访问技术增强运动表现提供了实用的蓝图。
-
开源AI会议平台Hoovik面临实时推理挑战
开源AI会议平台Hoovik的创建者Anupam Kumar发现，开发中最具挑战性的方面不是核心WebRTC技术，而是管理实时多模态AI推理。这涉及到跨分布式服务的PyTorch、MediaPipe和AudioWorklets的复杂协调。Kumar的目标是在不因事件循环阻塞或内存耗尽而损害性能的情况下实现这一点，尤其是在处理不稳定的网络条件和消失的媒体流时。
-
AI游戏“Doc Yang的手势”使用MediaPipe进行实时手势追踪
一款名为“Doc Yang的手势”的全新浏览器游戏利用AI技术，特别是MediaPipe，来检测和解读实时手势。玩家可以通过同时做出两个手势来得分，例如提供了“竖起大拇指 + 小拇指”和“竖起大拇指 + 食指 + 中指”等示例。该游戏免费提供，目标用户是家庭和儿童。
-
ProxyFace为AI聊天添加本地化、情感化头像
ProxyFace是一个开源项目，为AI交互添加本地化、富有表现力的头像。它利用一个小型、设备上的情感模型和眼动追踪，使头像能够对AI输出和用户的注视做出反应。该项目使用React和Electron构建，强调隐私保护，零遥测，并允许自定义像素艺术角色。
-
人工智能研究致力于高效、可及的手语翻译
两篇新研究论文探讨了手语翻译（SLT）技术的进展，重点在于使系统更高效、更易于低资源语言使用。其中一篇论文提出了一种以数据为中心的方法和社区共创设计，适用于阿塞拜疆手语等语言，倡导进行适合翻译者的自适应系统和特定任务的评估。另一篇论文详细介绍了一个紧凑的7700万参数SLT流程，通过降低输入帧率来减少计算复杂性，展示了效率与准确性之间的权衡。
-
Tamaththul3D 从视频生成高保真3D沙特手语虚拟形象
研究人员开发了Tamaththul3D，这是一个用于生成高保真3D沙特手语（SSL）虚拟形象的新型流程。该系统填补了阿拉伯手语（ArSL）资源方面的重大空白，ArSL约有4亿使用者。该项目还为Ishara-500 SSL数据集引入了首批高质量3D参数化标注，包含500个不同手语的精确SMPL-X参数。Tamaththul3D集成了SMPLer-X、WiLoR和MediaPipe等多种工具，以在ArSL的手部和身体姿态重建方面达到最先进的精度。
-
Google Snapseed 新增设备内 AI 对象编辑功能
Google AI 为其 Snapseed 照片编辑应用推出了一项新的设备内图像分割功能，名为 Object Brush。该功能允许用户通过在图像中的特定对象上绘制笔触来直观地选择和编辑它们。这项技术由一个名为 Interactive Segmenter 的 AI 模型提供支持，该模型完全在设备上运行，可在 20 毫秒内实现实时调整。此项进步旨在使移动平台上的高级照片编辑更加便捷和精确。
-
Google 详解 YouTube Shorts 的实时 AI 效果处理流程
Google 详细介绍了其通过优化大型模型以适应移动设备，从而在 YouTube Shorts 上实现实时生成式 AI 效果的方法。该公司采用了知识蒸馏技术，让一个强大但缓慢的“教师”模型训练一个小型、高效的“学生”模型，使其能够在设备上运行。该过程涉及细致的数据整理，包括按肤色多样性进行筛选，以及使用配对图像和各种损失函数进行稳健的训练方法，以确保视觉真实性并保留用户身份。