研究人员开发了DEEPCHART,这是一个旨在评估大型语言模型(LLM)在生成数据科学图表方面的准确性的新基准。该基准包含来自真实世界文档的1,482个实例,评估LLM提取相关数据、进行定量推理和忠实渲染图表的能力。实验表明,当前最先进的模型经常生成视觉上令人信服但包含细微数据层面幻觉的图表,尤其是在复杂的多模态环境中。研究结果表明,仅仅增加上下文窗口大小是不够的;可靠的证据提取和推理能力对于准确生成图表至关重要。 AI
影响 凸显了LLM在视觉上忠实表示数据方面的关键局限性,表明在渲染图表之前需要改进数据提取和推理能力。
排序理由 该集群描述了一篇介绍用于评估LLM能力的基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →