Splash

Splash 框架赋能 MLLMs 学习触觉感知，且不遗忘视觉语言技能

研究人员开发了 Splash，一个新颖的框架，旨在将触觉感知能力集成到多模态大语言模型 (MLLMs) 中，同时不损害其现有的视觉语言推理能力。这是通过选择性地更新模型参数来实现的，在适应新的触觉数据时保留关键知识。Splash 在 SSVTP、TVL 和 TacQuad 等多个视觉触觉基准测试中展示了最先进的性能，同时保持了其通用功能且不产生额外的推理开销。