实体 TLA$^{+}$-Bench

TLA$^{+}$-Bench

PulseAugur coverage of TLA$^{+}$-Bench — every cluster mentioning TLA$^{+}$-Bench across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_167367 · Jul 28 · 04:00

新基准通过执行评估LLM生成TLA+规范的能力

研究人员推出了TLA$^{+}$-Bench，这是一个新的基准和数据集，旨在更准确地评估大型语言模型从自然语言生成TLA$^{+}$形式化规范的性能。与以往依赖相似性或可解析性的方法不同，TLA$^{+}$-Bench基于TLA$^{+}$模型检查器的执行来评估规范。该数据集包含403个经过模型检查的规范和897个仅可解析的规范，以及各种难度和类别的标签。一个关键的发现是，模型生成的TLA$^{+}$规范的正确率可能因评估方法的选择而…