PostgreSQL 16

新模型和基准独立于模型能力评估AI规范质量

研究人员开发了一个形式语义块模型，用于评估规范的质量，独立于AI模型的能力。该模型将规范表示为具有定义关系和规则的结构化组件，并接受机器可检查的条件。创建了一个基于执行的基准测试，通过观察独立实现者之间的一致性来经验性地估计确定性，并以Oracle到PostgreSQL的迁移规范为例进行了案例研究。虽然结果支持确定性作为一个形式概念，但它们表明它不是评估当代LLM实现者的足够独立的指标。