English(EN) SAKE: Software Architectural Knowledge Evaluation Benchmark for Large Language Models

新的SAKE基准评估LLM的软件架构知识

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-30 04:00

研究人员开发了SAKE，一个旨在评估大型语言模型软件架构知识的新基准。该基准包含超过2000个涵盖八个架构类别和不同上下文长度的选择题。对11个LLM的初步评估显示，总体准确率很高，但在不同架构领域的表现存在显著差异，表明存在特定的能力差距。 AI

影响 SAKE提供了一种标准化的方法来评估和改进LLM在软件架构方面的能力，有望在软件开发中带来更有效的AI助手。

排序理由该集群包含一篇介绍用于评估LLM的新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Tiziano Santilli, Francesco Daghero, Mayhar Tourchi Moghaddam · 2026-06-30 04:00

SAKE: Software Architectural Knowledge Evaluation Benchmark for Large Language Models

arXiv:2606.29520v1 Announce Type: cross Abstract: Large Language Models (LLMs) are increasingly used as assistants across the software development lifecycle, yet their ability to reason about software architecture remains largely unmeasured. Architectural decision-making depends …