PulseAugur
中
实时 14:18:07
English(EN) Comparing Large Language Models on Scrum Certification-Style Questions: Accuracy, Stability, and Error Patterns

LLM 在敏捷认证问题上接受评估；Gemini 3 Flash 在准确性方面领先

作者 PulseAugur 编辑部 · [2 个来源] ·

一项最新研究评估了三种大型语言模型——GPT-5 mini、Gemini 3 Flash 和 DeepSeek Chat 3.2——在 993 个敏捷认证风格问题上的表现。Gemini 3 Flash 展现出最高的准确性，而所有模型在模型内部变异性方面均表现较低。性能因问题格式和主题而异，模型在规范明确的领域和单选题上表现出色，但在多选题和判断题格式以及更具解释性的敏捷主题上遇到困难。分析揭示了系统性错误，包括过度概括以及常见解释与严格敏捷定义之间的冲突。 AI

影响 LLM 在特定领域认证问题上的表现各不相同，这凸显了在专业培训中可靠使用需要仔细的提示和评估。

排序理由 该集群包含两篇学术论文，展示了关于 LLM 在特定领域表现的实证研究。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

LLM 在敏捷认证问题上接受评估；Gemini 3 Flash 在准确性方面领先

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Robson Alves Vilar, Emanuel Dantas Filho, Ademar Fran\c{c}a de Sousa Neto, Mirko Perkusich, Danyllo Wagner Albuquerque, Jo\~ao Paiva, Kyller Gorg\^onio, Angelo Perkusich ·

    Comparing Large Language Models on Scrum Certification-Style Questions: Accuracy, Stability, and Error Patterns

    arXiv:2607.00048v1 Announce Type: cross Abstract: Large Language Models (LLMs) are increasingly used in exam- and certification-style question answering tasks, where their ability to retrieve, interpret, and apply domain-specific knowledge can be systematically assessed. In Softw…

  2. arXiv cs.AI TIER_1 English(EN) · Mirko Perkusich, Danyllo Albuquerque, Jo\~ao Paiva, Robson Vilar, Emanuel Dantas, Ademar Fran\c{c}a de Sousa Neto, Rohit Gheyi, Kyller Gorg\^onio, Angelo Perkusich ·

    Prompting GPT-5 on Scrum Certification Questions: An Empirical Accuracy Study

    arXiv:2607.00049v1 Announce Type: cross Abstract: Large Language Models (LLMs) are increasingly used in Agile Software Development for documentation, coaching, and training. As practitioners adopt these tools to prepare for certifications such as Professional Scrum Master (PSM), …

相关实体

相关话题