HoloAssist
PulseAugur coverage of HoloAssist — every cluster mentioning HoloAssist across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架EgoVoice支持主动式AR语音助手
研究人员开发了EgoVoice，一个旨在为增强现实系统训练和评估主动式语音助手的框架。该系统旨在使AR助手能够在没有明确用户提示的情况下，根据连续的第一人称视频和音频流提供及时的语音指导。通过使用HoloAssist视频录制的數據对全模态LLM进行微调，EgoVoice在主动干预的及时性和内容相关性方面比现有模型有所提高。
-
XR凝视数据表示影响隐私和效用
一篇新的研究论文探讨了凝视数据在扩展现实（XR）系统中的表示方式如何影响用户效用和隐私。该研究使用HoloAssist数据集，比较了原始凝视、空间注意力热图和工程化的眼动特征。结果表明，工程化特征通过将用户重新识别风险降低一个数量级，同时保留了原始凝视数据约85%的动作识别准确性，从而提供了显著的隐私优势。这表明仔细的特征工程可以作为一种轻量级的隐私控制，补充差分隐私等其他方法。
-
ReViV框架使用统一的观察者和视角动态重建4D自主视频
研究人员推出ReViV，一个用于从单目自主视频进行全面4D重建的新颖框架。该系统统一了观察者和视角动态的建模，解决了先前方法常需要辅助输入或将感知与运动分开处理的局限性。ReViV在单一前馈架构中利用掩码生成自主Transformer，以实现快速推理速度，并重建身体、手部和注视运动的具有时间一致性的4D表示，以及相机跟踪和深度估计。
-
新的SkillSpotter系统可对多视角视频中的技能动作进行评分
研究人员开发了SkillSpotter，这是一种新颖的姿态感知型架构，用于在多视角视频中检测和评分技能动作。该系统旨在增强现实环境中实现个性化指导，应用于体育和烹饪等各种活动。SkillSpotter通过联合检测动作及其正确性来提高性能，显著优于现有方法，并展示了对其他数据集的泛化能力。
-
发布了新的主动式AI助手基准和架构
研究人员推出了一种名为Pro extsuperscript{2}Bench的新型数据集和基准套件EgoProactive，旨在评估主动式程序辅助系统。这些系统旨在为任务提供实时、分步指导，包括自主决定何时打断以及如何指导用户，尤其是在用户偏离预期计划时。所提出的解耦规划器-交互架构在Llama 4上进行训练后，在客观干预质量和偏离计划恢复方面，相比专有模型和开源模型均取得了显著改进。
-
将视频推理建立在物理信号之上
研究人员开发了一个新的基准来评估物理视频理解能力，超越了简单的事件识别，以评估模型在时间和空间上精确定位事件的能力。该基准包含来自四个来源的视频片段，涵盖六个物理领域，并在不同的提示家族和输入条件下测试模型。研究结果表明，虽然基于物理的推理是最强的，但空间定位仍然是一个重大挑战，这表明未来的基准应包括物理上可定位、提示感知和扰动感知的诊断。