MediaPipe
PulseAugur coverage of MediaPipe — every cluster mentioning MediaPipe across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
Google AI Classroom 使用 Gemini 4 Argon 和 Gemma 4 E2B 进行多模态编排
本文详细介绍了用于 AI 驱动教室的多模态编排策略,利用了 Google 的一系列 Gemini 模型和 Gemma。该方法强调根据具体的教育任务对模型进行适当规模调整,从使用 Gemma 4 E2B 进行实时设备端监考,到使用 Gemini 4 Argon 进行复杂的推理和评分。作者 Cyrus Wong 解释了如何使用 Google Genkit 来管理这些多样化的 AI 工作负载,确保系统不同层级的有效 FinOps 和弹性的 …
-
AI研究通过新数据集和方法解决低资源手语问题 · 已追踪2个来源
两篇近期研究论文解决了为低资源手语开发AI的重大挑战。第一篇论文虽然已被撤回,但提出了针对阿塞拜疆手语等语言的途径,强调社区参与和以数据为中心的AI。第二篇论文介绍了Maswao,这是一个通过自动收集和准备方法创建的南非手语新数据集,并使用Transformer和Recurrent Neural Networks对其性能进行了基准测试。
-
新方法为具有断开部件的 3D 模型生成面部表情
研究人员开发了一种为 3D 角色模型生成面部表情的新颖方法,特别解决了具有断开部件的模型的挑战。他们的方法利用神经网络为各个模型组件创建变形场,确保拓扑无关性。该系统通过预测零位移和按大小对表情进行分类等机制来提高准确性,同时还通过双边对称增强技术提高质量。该方法提供了现有基于神经网络的解决方案的更简单替代方案,并针对 3D 角色模型用户社区中的实际需求。
-
2026年,设备本地 LLM 在 Flutter 应用中日益普及
2026年的趋势正转向移动应用的设备本地AI,逐渐摆脱对OpenAI和Anthropic等云端API的依赖。这种方法提供了增强的隐私性,消除了API成本,并支持离线功能。开发者可以通过使用Dart FFI桥接llama.cpp等原生C++推理引擎,将Llama 3 Mobile或Gemma-Nano等量化模型集成到Flutter应用中。
-
微调Gemma 2以实现设备端LLM任务
本文详细介绍了使用4位LoRA微调Gemma 2模型以实现高效设备端执行的过程。作者分享了他们使用MediaPipe在手机上离线运行这些小型LLM任务的经验,强调了本地处理对特定应用的实际好处。
-
使用 MediaPipe 和生成式 AI 开发的手机端健身教练
在 Innovhacks 4.0 上,使用 MediaPipe 和生成式 AI 技术开发了一个手机端健身教练。该项目在 DEV Community 平台上分享,突出了其在软件开发和编码工具方面的应用。该教练旨在直接在用户的移动设备上协助用户进行健身锻炼。
-
emg2face 使用 EMG 信号实现 VR 中的富有表现力的面部动画
研究人员开发了一种名为 emg2face 的新方法,该方法使用高密度表面肌电图 (HD-sEMG) 来生成富有表现力的面部动画,无需进行光学面部捕捉。这项技术对于虚拟现实等应用特别有用,因为在这些应用中,面部经常被头戴式设备遮挡。该系统测量额头和面部 64 个通道的 EMG 信号,使用音频突发将其与视频数据同步,然后采用带有时间卷积网络 (TCN) 的深度神经网络来预测面部变形目标参数。这使得能够将动画实时传输到各种人脸和非人脸。
-
Simon Willison 使用 GPT-6 Astra 构建隐私工具
Simon Willison 开发了一个名为 Photo Scrubber 的实验性工具,可自动模糊照片中的人脸并移除元数据。该工具利用了编译到 WebAssembly 的 Google MediaPipe 库和用于人脸检测的 BlazeFace 模型。在构建这个注重隐私的应用程序时,GPT-6 Astra 协助了 Willison,他是在为抗议者拍照后构思了该工具。
-
低成本水库计算模型推动手语识别发展
研究人员开发了一种新颖的、低成本的混合水库计算模型,用于识别孤立的手语视频。该模型利用MediaPipe提取关键的身体和手部点,然后由结合了深度和双向水库计算的混合水库计算架构进行处理。脊回归模型将最终状态映射到类别标签,在WLASL100数据集上实现了具有竞争力的准确率,同时与深度学习方法相比大大缩短了训练时间,使其适合部署在边缘设备上。
-
新的RSC-GestureNet系统增强了自动驾驶的交通手势识别能力
研究人员开发了RSC-GestureNet,一个旨在可靠识别自动驾驶应用中中文交通警察手势的新系统。该模型将姿态置信度作为关键因素,在其图推理过程中降低不可靠的关节数据的权重。RSC-GestureNet还引入了CTPGesture-C,一个用于在各种损坏帧条件下测试手势识别的基准,并在CTPGesture v1数据集上展示了优于现有方法的性能。
-
OpenAI 的 GPT Image 2 简化图像编辑,取代复杂工具
OpenAI 的 GPT Image 2,也称为 ChatGPT Images 2.0,提供了一种简化的图像编辑方法,取代了对 Stable Diffusion 等复杂本地设置的需求。用户现在可以通过简单的 POST 请求进行单帧编辑,例如修复面部或更改对象。这项基于多模态 GPT-5 主干构建的新功能简化了以前需要复杂工作流程和多种工具的任务。
-
少年构建完全本地化的 AI 生态系统 CODA OS
一位 17 岁的开发者创建了 CODA OS,这是一个全面的 AI 生态系统,旨在完全在本地硬件上运行,无需依赖云。该系统包括一个 3D 重建工具、一个名为 BHAASM Transformer 的自定义 2.2B 参数语言模型、一个名为 VIJAY 的语音助手,以及视频通话和消息传递功能。该项目的动机是开发者无力承担云 AI API 的费用,目前运行在一台配备 RTX 5070 GPU 和 Intel NPU 的笔记本电脑上。
-
新型Transformer模型增强了带口罩人脸识别能力
研究人员开发了PLGSA-Transformer,一个新颖的人脸识别框架,解决了面部口罩带来的挑战。该系统利用眼周地标引导的空间注意力来聚焦于眼睛和额头周围可见的面部区域,并整合了EfficientNetB3的特征。混合CNN-Transformer架构处理这些特征,而遮挡自适应余弦阈值则根据预测的遮挡严重程度调整匹配分数。该模型表现出高精度,在一个包含遮挡和未遮挡人脸的数据集上实现了97.22%的对验证准确率,优于先前的方法。
-
Google 的摄像头手部扫描 reCAPTCHA 被测试者迅速绕过 · 跟踪 3 个来源
Google 正在测试一种新的 reCAPTCHA 系统,该系统使用摄像头扫描用户的手部,绘制 21 个点来验证人类身份。这项实验性功能是 Google Cloud Fraud Defense 的一部分,旨在比旧方法更有效地对抗机器人。然而,测试者很快就能够使用手部照片绕过该系统,这引发了对其安全性和为合法用户增加的摩擦的担忧。Google 表示,视频素材在验证后会被删除,并且不与用户身份相关联,但隐私问题依然存在。
-
新的门控情感Transformer改进了人类运动预测
研究人员开发了一种名为门控情感Transformer(GAT)的新方法,通过将面部情感线索与身体姿势数据相结合来改进人类运动预测。研究发现,简单地组合这些模态会降低准确性,但GAT的门控机制可以动态调节信息流,抑制噪声同时利用相关的情感信号。研究表明,面部情感主要在短到中期时间窗口内提供预测线索,表明它是一种补充线索,而不是未来运动的主要驱动因素。
-
AI触摸检测框架在真实移动打字重建方面遇到困难
一篇新研究论文详细介绍了一个用于通过视频监控检测移动键盘触摸事件的多模态框架。该系统集成了手部地标检测、肤色过滤、运动检测和边缘分析来重建打字序列。然而,该框架的成功率有限,在模拟视频上达到了16.7%的低F1分数,并且由于手部遮挡和过多的误报等问题,未能推广到真实、不受控的视频片段。
-
虚拟戒指试戴系统利用AI实现逼真放置
研究人员开发了一种新颖的虚拟戒指试戴系统,允许用户查看戒指戴在手指上的效果。该系统使用MediaPipe进行手部关键点检测,并使用YOLO-V8进行戒指对象检测,以准确地将戒指放置并调整大小到用户的手部图像上。该方法通过计算角度差异并根据手指粗细重新缩放戒指来确保感知真实性。
-
新AI工具Envisage通过新颖的评估指标可视化鼻整形效果
研究人员开发了Envisage,一个使用基于扩散模型的生成编辑来可视化鼻整形手术预期结果的新流程。该系统旨在提供局部编辑,并包含一个新颖的评估协议SurgicalScore,该协议将评估分解为编辑方向、幅度、掩码LPIPS、真实性和掩码外像素的保留。Envisage在关键指标上展示了优于现有方法(如ICEdit和InstructPix2Pix)的性能,表明局部编辑保真度比全脸身份分数更适合此类应用。
-
已撤回的研究论文详述了基于CPU的跌倒检测系统
一篇已被撤回的研究论文提出了一种用于老年人护理的跌倒检测系统,该系统可在标准CPU上高效运行。该系统利用MediaPipe框架的姿态估计算法来分析运动和身体姿势,无需额外的传感器或高端硬件。这种方法旨在为辅助生活设施中的居民安全监控提供一种实用且资源高效的解决方案。
-
AI框架利用VLM和RAG实现运动员画像数字化
研究人员开发了一种新颖的基于LLM的整体运动员画像框架,旨在克服传统手动或基础计算机视觉评估方法的局限性。该框架由LangGraph编排,整合了用于运动学追踪的计算机视觉和用于语义推理的Vision-Language Models,并特别符合印度体育局的协议。为了管理计算需求并防止幻觉,该框架采用了时间分块策略、LLM-as-a-Judge自我纠错循环以及使用ChromaDB进行自然语言查询的双持久化RAG管道。