Ego-CoMist

新基准测试视频大语言模型实时纠错能力

研究人员开发了一个名为 Ego-MC-Bench 的新基准，用于评估视频大语言模型（LLMs）在任务执行过程中提供实时指导和纠正错误的能力。该基准专注于烹饪场景，揭示了当前最先进的视频大语言模型由于缺乏合适的训练数据而难以实现此功能。为解决此问题，创建了一个名为 Ego-CoMist 的合成数据集，该数据集在用于微调时展示了性能提升，特别是对于更小、更高效的大语言模型。