研究人员开发了一个形式语义块模型，用于评估规范的质量，独立于AI模型的能力。该模型将规范表示为具有定义关系和规则的结构化组件，并接受机器可检查的条件。创建了一个基于执行的基准测试，通过观察独立实现者之间的一致性来经验性地估计确定性，并以Oracle到PostgreSQL的迁移规范为例进行了案例研究。虽然结果支持确定性作为一个形式概念，但它们表明它不是评估当代LLM实现者的足够独立的指标。 AI
影响 引入了一种评估AI规范质量的方法，可能改进AI系统理解和执行复杂指令的方式。
排序理由 学术论文，详细介绍了用于评估AI规范的新形式模型和基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
