virtual reality
PulseAugur coverage of virtual reality — every cluster mentioning virtual reality across labs, papers, and developer communities, ranked by signal.
12 天有情绪数据
-
新模型应对新视图合成与相机姿态估计挑战
两篇新的研究论文介绍了从现有图像合成新视图和估计相机姿态的新颖方法。第一篇论文LVS，侧重于重用先前渲染的图像以改进交互式场景探索并减少渲染计算，特别适用于增强现实和虚拟现实应用。第二篇论文LVSPM，提出了一个可泛化的模型，该模型可以从未校准的图像集中联合估计相机姿态并合成新视图，在各种数据集上的姿态估计和新视图合成方面优于现有模型。
-
新的emg2face系统使用肌肉信号为VR驱动面部动画
研究人员开发了一种名为emg2face的新方法，该方法使用高密度表面肌电图（HD-sEMG）来生成富有表现力的面部动画。该技术特别适用于虚拟现实等应用，因为传统的面部光学捕捉方法会受到头戴式设备的阻碍。该系统记录来自额头和面部64个通道的EMG信号，使用音频爆发将其与视频数据同步，然后训练深度神经网络来预测面部混合形状参数。这使得仅基于EMG读数即可实现实时面部动画，已通过25名参与者进行了演示，并且可以迁移到各种人类和角色面部。
-
Titanfall 2 VR Mod 和 Linux RAM 压缩技术亮点
游戏 Titanfall 2 发布了一个新的模组，实现了虚拟现实游戏玩法，并允许玩家环顾其泰坦的驾驶舱。另外，一项新颖的 Linux 技术已被开发出来，可以直接在 RAM 中压缩内存，通过允许标准内存访问语义而不是块设备操作，实现了 452 倍的速度提升。
-
Titanfall 2 VR模组获赞；AI游戏平台用户达1000万
据The Verge报道，Titanfall 2的一款新模组已将其转化为备受好评的虚拟现实体验。另外，据Kotaku报道，一个名为Astrocade的平台，以AI生成游戏为特色，尽管对其内容质量有所批评，但已积累了1000万月活跃用户。
-
EDA数据中的伪迹去除未能改善VR平衡任务分类
一项新近发表在arXiv上的研究探讨了在虚拟现实平衡任务中，去除皮肤电活动（EDA）数据伪迹技术的有效性。研究人员发现，尽管伪迹去除提高了波形质量并减少了基准数据集中的错误，但并未提高VR任务中的下游分类准确性。该研究表明，预处理应根据其对最终决策过程的影响来评估，而不仅仅是波形改进，因为个体之间的差异有时会掩盖清理EDA信号的真正益处。
-
新的基准测试评估VR中的空间对齐手势生成
研究人员推出了一项新的基准测试，用于评估空间对齐手势生成，这是共享虚拟空间中人机交互的关键组成部分。该基准测试包含约2000个来自虚拟现实对话的带注释视频片段，旨在评估生成的手势是否正确指示了其预期指代对象。提出的协议将评估分为时间对齐、空间对齐和感知自然度，超越了简单的分布度量。对基线系统MM-Conv-Flow进行了评估，结果表明，人工手势在不牺牲自然度的前提下，可以实现比人类指向更优越的空间对齐。
-
深度学习识别与VR网络晕动症相关的脑电图模式
研究人员开发了一个深度学习框架，用于识别在虚拟现实使用期间经历的网络晕动症不适相关的特定脑电图（EEG）模式。通过分析来自两项独立研究的大脑活动，模型一致地强调了左额叶、中线中央和右顶叶区域对于分类至关重要。研究还发现，早期时间窗口，即刺激后约80至260毫秒，对于识别网络晕动症具有重要意义，这表明这些时空特征可用于未来的检测和缓解策略。
-
用户寻求关于使用 MiniMax H3 制作 VR 视频的建议
一位 Reddit 用户正在寻求关于如何有效使用 MiniMax H3 制作虚拟现实视频的建议。具体来说，他们正在询问有关处理 180 度平面或立体 3D VR 视频内容的方法。
-
Meta发布新款AI设备，包括虚拟宠物和升级版智能眼镜
Meta正准备推出新款AI驱动的设备，包括一款名为“Meta Charm”的虚拟宠物类设备和一款纯音频智能眼镜。该公司还宣布更新其现有的Ray-Ban Meta智能眼镜，第三代产品将具备增强的AI功能和改进的摄像头。这些发布标志着Meta在将AI融入消费硬件和扩展其生态系统方面持续发力。
-
SPHERE 框架使用 LLM 和 RL 进行自适应 VR 场景生成
研究人员开发了 SPHERE，一个用于生成虚拟现实室内场景的新框架，该框架可随时间适应用户偏好。该系统从语音和控制器编辑等多模态交互中提取持久的空间偏好，并将其抽象为分层约束。人类在环强化学习机制根据用户反馈进一步优化场景生成，旨在减少沉浸式创作中的纠正性编辑和体力劳动。
-
北卡州立大学研究人员在 VR 中测试 AI 幻觉警报
北卡罗来纳州立大学的研究人员开发了三种方法，用于在虚拟现实环境中告知用户 AI 代理何时发表了虚假陈述。该研究侧重于如何在沉浸式环境中有效提醒用户注意 AI 幻觉。这些技术在一个概念验证研究中进行了测试，以评估其在识别和传达 AI 不准确性方面的有效性。
-
SemiAnalysis 批评 GTC VR 性能，强调 AI Infra Summit 上的 AgentX
SemiAnalysis 声称 Jensen 在 Nvidia GTC 上展示了误导性的虚拟现实性能指标，并将其与 Ian Buck 即将在加州圣克拉拉举行的 AI Infra Summit 上展示 AgentX 的情况进行了对比。该帖子强调了 Vera Rubin NVL72 相对于 GB300 的单位美元吞吐量优势。
-
新策略优化自动驾驶汽车中主动式代理的沟通
研究人员开发了一种名为When2Talk的新沟通策略，用于自动驾驶汽车中的主动式车载代理。该策略旨在优化这些代理何时应就车辆行为与乘客沟通。一项涉及41名参与者在VR模拟中的研究表明，与每次事件都进行沟通的事件触发策略相比，情境感知的When2Talk策略显著减少了感知到的打扰，并提高了沟通的恰当性。研究结果表明，事件后果、乘客活动和信息价值等因素对于确定选择性车内沟通至关重要。
-
新框架“Speak to the City”利用注视点和语言识别车外地标
研究人员开发了一个名为“Speak to the City”的新框架，以改进车内乘客查询物理地标的方式。该系统融合了用户的注视点和自然语言来识别兴趣点，解决了自我运动和指代歧义等挑战。一项涉及46名参与者的用户研究将头部方向映射到3D数字孪生中，捕捉了注视点-语音行为。使用LLM训练了一个轻量级Transformer网络，将空间注视点与口头语境对齐，在平均推理时间为24.3毫秒的情况下实现了83.33%的Top-1准确率。
-
Games at Work 播客将讨论 AI 视觉和星际迷航厨具
Games at Work 播客 e568 期将讨论 AI 视觉和隐形技术、星际迷航风格的厨具以及 LEGO Ideas 项目。该期节目由 Michael Martine、Andy Piper 和 Michael Rowe 主持，还将涵盖音频智能功能。播客之前的节目探讨了 AI、元宇宙、AR、VR 和游戏化等主题。
-
新的VR情感识别技术融合面部视频与上部面部肌电图
研究人员开发了一种新颖的虚拟现实（VR）情感识别方法，通过结合下半面部视频和上半面部肌电图（EMG）数据来实现。该方法解决了头戴式显示器遮挡上半面部导致传统面部识别不完整的问题。创建了一个包含20名参与者的新数据集，配对下半面部视频和上半面部EMG信号。提出的晚期融合架构实现了51%的宏F1分数，显著优于仅依赖视觉或EMG数据的模型。
-
Until Dawn 2 定于 1 月 28 日在 PS5 上发布，并有新演员阵容
互动恐怖游戏 Until Dawn 2 定于 1 月 28 日发布，游戏设定在一个新的热带岛屿，演员阵容包括来自“Stranger Things”的 Dacre Montgomery。该游戏由 Firesprite 开发，旨在捕捉其前作的 B 级恐怖氛围，而其前作最初由 Supermassive Games 创建。该续作将再次独占于 PlayStation 5。
-
新指标评估立体全景图像质量
研究人员开发了一种名为预测编码层级（PCH）的新指标，用于评估立体全景图像（SOI）的质量。该指标受到人类视觉系统的启发，旨在解决全景图像带来的挑战，例如可变视场和双眼视觉。PCH 包含用于局部巨眼感知、全局预测感知以及用于推断感知质量的视觉质量回归器的模块。
-
研究：投影选择影响360度内容的学习视频压缩
一篇新的研究论文探讨了不同的投影格式如何影响360度内容的端到端学习视频压缩的效率。研究发现，等距柱状投影和填充等距柱状投影对于神经压缩模型最有效，这与传统编解码器中基于立方体贴图的格式表现更好不同。这些发现为优化基于学习的360度视频压缩系统中的投影选择提供了指导。
-
AI模型使用多模态数据对VR平衡状态进行分类
研究人员开发了一种受Mamba启发的卷积神经网络（MI-CNN）模型，用于在虚拟现实（VR）环境中对姿势状态进行分类。该模型利用包括运动学、肌电图（EMG）和皮肤电活动（EDA）信号在内的多模态数据，以高精度区分平衡和不平衡状态。使用SHapley Additive exPlanations（SHAP）的可解释性分析显示，运动学特征是检测不平衡的最有影响力的因素，并且即使在特征集减少的情况下，模型仍能保持性能。