STEM2Code-Eval

CodePercept 利用代码而非仅靠推理来提升 LLM 的视觉感知能力

上海交通大学和 Qwen 团队的研究人员推出了一种名为 CodePercept 的新方法，旨在增强大型语言模型在 STEM 任务中的视觉感知能力。他们的研究表明，提升视觉感知能力，而非仅仅是推理能力，是模型解决科学和数学问题的关键瓶颈。CodePercept 利用代码作为精确的视觉理解语言，使模型能够生成准确表示图像内容的、可执行的代码，从而克服自然语言描述的固有歧义。