TimeSage

新基准测试LLM Agent的多轮时间序列推理能力

研究人员推出了TimeSage-MT，这是一个旨在评估大型语言模型Agent在多轮对话中时间序列推理能力的新基准。该基准包含240个任务和超过2600个对话轮次，涵盖现实世界领域，并侧重于不断变化的用户目标和累积证据。使用TimeSage-MT进行的初步评估显示，在面向决策的任务中性能显著下降，突显了Agent在记忆、不确定性处理和领域特定决策方面的关键差距。