Human-Robot Interaction Using Affective Cues
PulseAugur coverage of Human-Robot Interaction Using Affective Cues — every cluster mentioning Human-Robot Interaction Using Affective Cues across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新框架利用合成世界训练机器人实现具身认知
研究人员开发了一个概念框架，用于训练视觉语言模型（VLMs）以增强机器人的具身认知，特别是视觉视角采择（VPT）。为了实现这一点，他们在 NVIDIA Omniverse 中生成了一个合成数据集，其中包含 RGB 图像、自然语言描述和物体姿态变换矩阵。该数据集旨在支持空间推理任务的监督学习，初步侧重于推断 Z 轴距离，并且已公开可用，以推动具身人工智能在人机交互领域的研究。
-
VR和VLM增强机器人在危险环境中的态势感知能力
研究人员开发了一个虚拟现实（VR）框架，用于研究配备视觉语言模型（VLM）的机器人在危险环境中如何提高态势感知能力。该系统允许机器人在模拟的危险环境中进行探索，利用VLM识别潜在风险，并通过沉浸式VR界面将这些发现呈现给人类操作员。用户研究表明，参与者更倾向于使用带有注释的VR界面，并报告了高清晰度、高有用性和高舒适度，这表明这种组合方法在提高关键情况下的安全性方面是有效的。
-
大型语言模型赋能机器人从语音、手势和音乐中合成动作
研究人员开发了一个新框架，利用大型语言模型（LLMs）使机器人能够从多模态人类输入中合成动作。该系统集成了语音识别、手势分析和音乐节拍检测，为LLM创建了丰富的上下文。然后，LLM对这些组合输入进行推理，为四足机器人生成一系列动作，从而实现更流畅、更具上下文感知能力的人机交互。
-
新的Transformer模型可进行具有遮挡恢复能力的长期人类运动预测
研究人员开发了一种新颖的非自回归Transformer模型，用于预测人类运动的长期趋势。该模型通过关注局部姿态和全局运动预测，并结合遮挡恢复来处理缺失的关节数据，从而解决了现有自回归方法的局限性。所提出的方法旨在提高在机器人、自动驾驶和医疗保健等领域的实际应用中的准确性和适用性。
-
小型语言模型协助机器人研究的评审人员
研究人员开发了一个系统性综述流程，用于追踪社会物理人机交互（spHRI）的快速增长。该流程利用小型语言模型（SLMs）协助人工评审人员筛选论文，证明了SLMs可以通过识别出人工评审人员可能遗漏的论文来显著增强评审过程。虽然SLMs的性能不及人工评审，但其速度和本地运行能力使得大规模文献综述更加便捷和可持续。
-
机器人Pepper通过ChatGPT和RLHF学习富有表现力的手势
研究人员开发了一种新颖的方法，通过整合ChatGPT和基于人类反馈的强化学习（RLHF）来为人形机器人Pepper生成自然且富有表现力的手势。单独使用ChatGPT的初步尝试产生了僵硬的动作，但随后基于用户评估的RLHF微调显著改善了机器人的手势生成。这个迭代过程产生了更流畅、更相关、更富表现力的手势，增强了人机交互。
-
新的PATCH系统增强了机器人操作的稳定性
研究人员开发了PATCH，一个用于在真实环境中监控机器人操作任务的新系统。这个动作块条件潜在块创新监控器旨在通过检测和响应意外场景动态来提高基于学习的操作策略的鲁棒性。PATCH在活动动作块内预测潜在块的演变，并累积残差以生成局部干预信号，当局部创新消退时，允许执行暂停和策略恢复。在真实机器人数据上的实验表明，与现有的运行时监控器相比，PATCH提供了更稳定且与上下文相关的触发器。
-
机器人交互框架使用视觉和语音来理解意图
研究人员开发了一个名为 EDITH 的新框架，该框架集成了口头和非口头人类信号，以实现更自然的人机交互。该系统捕获智能眼镜中的第一人称视频、注视和语音，并将其与语言指令一起使用以推断人类意图。EDITH 采用分层策略来分解任务，并使用视觉流中的关键帧来锚定任务，与仅使用语言命令相比，这大大减少了用户的工作量。