TALK-Dem

新基准评估LLM机器人规划器在痴呆症沟通模式下的表现

一项名为TALK-Dem的新基准已被开发出来，用于评估大型语言模型驱动的机器人任务规划器在与痴呆症患者互动时的性能。该基准包含4,800条指令，旨在模拟痴呆症患者常见的沟通模式，例如不精确的语言和话题漂移。对六个开源LLM进行的实验显示性能显著下降，凸显了当前辅助机器人技术的关键差距。为解决此问题，提出了一种情境感知经验检索（CARE）方法，通过检索相关的过往任务作为情境，提高了任务成功率。