实体
MTR-Bench
MTR-Bench
PulseAugur coverage of MTR-Bench — every cluster mentioning MTR-Bench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的MTR-Bench评估大型语言模型的多轮推理能力
研究人员推出了MTR-Bench，这是一个旨在评估大型语言模型多轮推理能力的新基准。该基准包含四个类别的40个任务，总计3600个实例，并设计为无需人工干预即可进行自动化评估。初步实验表明，当前最先进的模型在这些交互式推理任务上表现不佳，突显了AI系统未来研究的领域。
-
新框架 MTR-Suite 改进对话检索基准
研究人员开发了 MTR-Suite，一个旨在改进对话检索基准的评估和创建的新框架。该套件包括 MTR-Eval，一个基于 LLM 的工具，用于评估现有基准；以及 MTR-Pipeline，一个多代理系统，能以显著降低的成本生成逼真的对话。该框架还引入了 MTR-Bench，一个通用领域基准，模拟了诸如主题切换和冗长等复杂的对话挑战。