研究人员推出了TLA$^{+}$-Bench，这是一个新的基准和数据集，旨在更准确地评估大型语言模型从自然语言生成TLA$^{+}$形式化规范的性能。与以往依赖相似性或可解析性的方法不同，TLA$^{+}$-Bench基于TLA$^{+}$模型检查器的执行来评估规范。该数据集包含403个经过模型检查的规范和897个仅可解析的规范，以及各种难度和类别的标签。一个关键的发现是，模型生成的TLA$^{+}$规范的正确率可能因评估方法的选择而显著不同，根据评估方法以及是否向模型提供接口名称，正确率在1.7%到26%之间变化。 AI
影响 该基准有望实现对LLM进行形式化规范生成更可靠的评估，从而改进软件工程实践。
排序理由 该条目是一篇研究论文，介绍了一个用于评估LLM的新基准和数据集。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
