新基准测试 LLM 判断时间序列解释的能力

研究人员推出了 TSQueryBench，这是一个新的基准，旨在评估大型语言模型评估时间序列数据解释事实正确性的能力。该基准由 500 个合成时间序列实例组成，并附有正确、部分正确或不正确的解释。对六个大型语言模型的实验显示，虽然模型在生成数值准确的解释方面存在困难，但当模型看到正确的解释时，它们能够可靠地识别或评分。这表明 LLM-as-a-Judge 评估方法是评估数值基础时间序列推理的可行且可扩展的方法。 AI

影响 该基准可以提高 LLM 对时间序列数据评估的可靠性，这对于高风险应用至关重要。

排序理由 该项目描述了一篇介绍用于评估 LLM 特定任务的新基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• LLM-as-a-Judge
• Preetham Sivalingam
• ScienceCast
• TSQueryBench

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →