Sandeep Wadhwa

新的NumBench基准揭示文本到图像模型在计数超过50个对象时遇到困难

研究人员推出了NumBench，这是一个旨在评估文本到图像模型计数能力的综合基准。该基准包含1600个类别中的640,000个提示，通过操纵对象组成、空间引导和外观条件的阶乘设计来测试从1到100的计数。开发了一种新指标——置信度加权数值精度得分（CWNPS）——用于可扩展评估。结果表明，当前模型在计数超过50时遇到显著困难，并且所请求的计数范围对性能影响最大。