PulseAugur
实时 07:40:53
English(EN) The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation

新研究揭示生成模型FID分数存在显著随机性

一篇题为“FID彩票”的新论文研究了生成模型评估中Fréchet Inception Distance (FID)指标的可变性。研究发现,使用不同种子重新训练模型,其FID分数的变化幅度是仅从固定模型中重新绘制样本的三倍。这种差异归因于随机初始化、数据排序和流匹配损失噪声。该研究提出了一个修订的FID评估协议,包括每个单元的最佳引导,将低于约1.3%变异系数的FID差距视为不确定,并建议报告多个训练种子的误差条,而不是单一的FID数字。 AI

影响 强调了当前生成模型评估中潜在的不可靠性,表明需要更稳健的基准测试实践。

排序理由 该集群包含一篇详细介绍生成模型新评估方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新研究揭示生成模型FID分数存在显著随机性

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Patrick Pérez ·

    The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation

    The Frechet Inception Distance (FID) is the de facto arbiter of image generation, yet most papers report just a single number from a single trained model using a single sampling seed. How reproducible is that number if we retrain the model, or merely resample from it? In this pap…