UDA-Bench

LLM 查询处理显示显著的运行间方差，影响基准测试

一篇新发表在 arXiv 上的论文探讨了语义查询处理中的运行间方差，该过程依赖大型语言模型来评估单个数据行。研究发现，即使在温度为 0 的情况下，也有相当比例的行在多次执行后输出会发生变化，某些任务的方差高达 24.0%。这种不一致性会在查询计划中呈指数级放大，影响答案的整体准确性。研究还强调了当前基准测试方法的不足，并指出许多比较并未在其实际执行中得到确定。