Structured Motion Description

新方法使用LLM实现无编码器的人类运动理解

研究人员开发了一种名为结构化运动描述（SMD）的新颖方法，利用大型语言模型（LLM）来理解人类运动。与先前需要专用编码器来对齐运动数据与LLM嵌入的方​​法不同，SMD将关节位置序列转换为结构化的自然语言描述。这种基于文本的表示形式使LLM能够利用其现有知识进行运动推理，而无需专门的对齐模块。SMD方法在运动问答和运动字幕生成任务中展示了最先进的性能，同时还提供了跨LLM兼容性（只需少量调整即可）和可解释分析等优势。