研究人员开发了一种名为结构化运动描述（SMD）的新颖方法，利用大型语言模型（LLM）来理解人类运动。与先前需要专用编码器来对齐运动数据与LLM嵌入的方法不同，SMD将关节位置序列转换为结构化的自然语言描述。这种基于文本的表示形式使LLM能够利用其现有知识进行运动推理，而无需专门的对齐模块。SMD方法在运动问答和运动字幕生成任务中展示了最先进的性能，同时还提供了跨LLM兼容性（只需少量调整即可）和可解释分析等优势。 AI
影响 使LLM能够通过文本直接处理和推理人类运动数据，从而提高运动字幕生成和问答等任务的性能。
排序理由 该集群描述了一篇详细介绍一种新颖的人类运动理解方法的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
The world knowledge and reasoning capabilities of text-based large language models (LLMs) are advancing rapidly, yet current approaches to human motion understanding, including motion question answering and captioning, have not fully exploited these capabilities. Existing LLM-bas…
The world knowledge and reasoning capabilities of text-based large language models (LLMs) are advancing rapidly, yet current approaches to human motion understanding, including motion question answering and captioning, have not fully exploited these capabilities. Existing LLM-bas…