研究人员发现，在评估手写数学OCR系统时，尤其是在使用视觉语言模型（VLMs）的情况下，存在一个重大问题。这些模型经常过度修正学生的错误，而不是准确地转录它们，从而掩盖了学习机会。为了解决这个问题，开发了一种名为PINK的新语义评估指标，该指标使用大型语言模型（LLMs）来评分并惩罚这种过度修正。在FERMAT数据集上的评估表明，与BLEU等传统指标相比，PINK显著改变了模型排名，其中Gemini 2.5 Flash在忠实转录方面表现更好。 AI
影响 为教育AI引入了更准确的评估指标，可能影响未来用于数学转录的视觉语言模型（VLMs）的开发。
排序理由 学术论文，介绍了一种针对特定AI能力的新评估指标。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
