一个名为 LUCID 的新基准已被开发出来,用于测试大型语言模型(LLMs)是否能够推断金融市场中的潜在因果结构,而不仅仅是进行简单预测。该基准评估了模型根据事件描述和历史金融数据生成代表市场结构的因果图的能力。对包括开放权重和专有模型在内的六个 LLMs 的初步评估表明,虽然某些指标显示出改进,但生成的图表在仅与历史观察结合时,通常会降低重建质量。这表明当前的 LLMs 在从可观察到的证据中推断信息丰富、事件特定的市场结构方面仍然存在困难。 AI
影响 这项研究突显了 LLMs 因果推理能力的局限性,表明需要超越预测准确性的更复杂的评估方法。
排序理由 该集群包含一篇详细介绍评估 LLM 能力的新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →