TPBench

新基准TPBench评估对话压缩方法

研究人员推出TPBench，一个旨在通过关注特定信息目标而非单一保留分数来评估对话压缩方法的新基准。TPBench评估模型在保留用户初始目标（P1）、修订槽位的当前值（P2）以及两者（P3）的能力，尤其是在具有后期槽位更新的对话中。使用TPBench在MultiWOZ和SGD等数据集上，并使用Llama和Mistral AI等阅读器进行评估，结果显示，当前压缩方法在恢复更新槽位值方面，尤其是在与完整上下文相比时，表现明显不足。