Preetham Sivalingam

新基准测试 LLM 判断时间序列解释的能力

研究人员推出了 TSQueryBench，这是一个新的基准，旨在评估大型语言模型评估时间序列数据解释事实正确性的能力。该基准由 500 个合成时间序列实例组成，并附有正确、部分正确或不正确的解释。对六个大型语言模型的实验显示，虽然模型在生成数值准确的解释方面存在困难，但当模型看到正确的解释时，它们能够可靠地识别或评分。这表明 LLM-as-a-Judge 评估方法是评估数值基础时间序列推理的可行且可扩展的方法。