DrAction

SkeletonLLM 使大语言模型能够处理人体骨架数据

研究人员开发了 SkeletonLLM，这是一种使多模态大语言模型 (MLLMs) 能够理解结构化、非视觉数据（如人体骨架）的新方法。该系统使用 DrAction，一种可微分渲染器，可将骨架运动转换为图像序列，从而使 MLLMs 能够直接处理这些数据。这种方法促进了开放词汇动作识别、运动描述和跨不同骨架格式的问题回答，为 MLLMs 处理非原生数据类型指明了方向。