Rubén Fernández Boullón

LLM 用于 Linux/bash 考试批改的评估，Gemini 3.0 Pro 领先

一项发表在 arXiv 上的新研究探讨了使用大型语言模型 (LLM) 来批改 Linux/bash 考试。研究人员使用四级认知分类法，将 GPT、Claude Opus、Gemini 和 GLM 四种前沿 LLM 与专家判断进行了比较。结果显示，在经过增强型提示词指导的评分标准下，Gemini 3.0 Pro 与人类评分员的一致性最高，但随着问题复杂度的增加，准确性有所下降。