Ziyi Wang
PulseAugur coverage of Ziyi Wang — every cluster mentioning Ziyi Wang across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
视觉语言模型难以推断游戏中的玩家参与度
研究人员调查了视觉语言模型（VLMs）是否能准确推断人类在游戏过程中的参与度。他们使用了跨越九款第一人称射击游戏的 GameVibe Few-Shot 数据集，并测试了三种 VLMs 和各种提示策略。结果表明，即使采用了先进的提示技术，VLMs 在可靠预测参与度方面仍面临困难，其表现通常仅略好于随机猜测，且未能超越简单的基线模型。该研究表明，VLMs 识别视觉游戏线索的能力与其真正理解玩家参与度等复杂心理状态的能力之间存在显著差距。
-
UniMotion框架统一运动、文本和视觉理解
研究人员推出UniMotion，一个专为人类运动、文本和视觉数据集成理解与生成而设计的新型框架。与以往处理有限模态组合并依赖离散分词的模型不同，UniMotion将运动视为主要的连续模态。它在一个共享的LLM骨干网络中采用了跨模态对齐运动VAE和双路径嵌入器，为运动和RGB数据创建了平行的连续路径。该框架还结合了双后验KL对齐和潜在重构对齐等技术，以增强运动表示并解决训练挑战，在跨模态任务上取得了最先进的性能。
-
StableMotion 使用扩散模型进行图像运动估计
研究人员推出 StableMotion，一个利用图像扩散模型进行图像校正任务中运动估计的新框架。该系统重新利用 Stable Diffusion 模型来估计运动，采用自适应集成策略来优化输出，并采用单步推理设计以避免因增加采样步数而导致的性能下降。StableMotion 在缝合图像校正和滚动快门校正等任务上取得了最先进的成果，与之前的基于扩散的方法相比，速度显著提升。
-
SkeletonLLM 使大语言模型能够处理人体骨架数据
研究人员开发了 SkeletonLLM，这是一种使多模态大语言模型 (MLLMs) 能够理解结构化、非视觉数据（如人体骨架）的新方法。该系统使用 DrAction，一种可微分渲染器，可将骨架运动转换为图像序列，从而使 MLLMs 能够直接处理这些数据。这种方法促进了开放词汇动作识别、运动描述和跨不同骨架格式的问题回答，为 MLLMs 处理非原生数据类型指明了方向。
-
新硬件方法物理遮挡摄像头镜头以保护隐私
研究人员开发了Lens Privacy Sealing（LPS），一种用于RGB摄像头监控系统隐私保护的新型硬件解决方案。LPS使用可调节的覆膜来物理遮挡摄像头镜头，以低成本提供预传感器隐私保护。为了解决LPS引起的视频降级问题，他们还引入了MSPNet，一个包含帧间噪声抑制器和跨帧语义聚合器的框架，在抑制身份识别的同时显著提高了动作识别的准确性。