DEEPCHART

新基准DEEPCHART揭示LLM图表生成缺陷

研究人员开发了DEEPCHART，这是一个旨在评估大型语言模型（LLM）在生成数据科学图表方面的准确性的新基准。该基准包含来自真实世界文档的1,482个实例，评估LLM提取相关数据、进行定量推理和忠实渲染图表的能力。实验表明，当前最先进的模型经常生成视觉上令人信服但包含细微数据层面幻觉的图表，尤其是在复杂的多模态环境中。研究结果表明，仅仅增加上下文窗口大小是不够的；可靠的证据提取和推理能力对于准确生成图表至关重要。