PulseAugur
实时 06:12:27
English(EN) DINOv2 way worse than SigLIP in k-NN. Is this expected? [R]

DINOv2 在细粒度分类任务中表现逊于 SigLIP

一位正在进行关于细粒度汽车分类的学士论文的 Reddit 用户发现,当 DINOv2 Giant 模型被用作 k-NN 分类的冻结编码器时,其表现明显不如 SigLIP2 SO400M。尽管使用了 L2 归一化嵌入,DINOv2 的准确率仅为 41%,而 SigLIP2 的准确率高达 92%。该用户怀疑通过自监督训练的 DINOv2 可能需要一个训练过的头部才能胜任细粒度任务,而像 SigLIP 这样的对比学习模型则不需要,并正在寻求关于其是否适用于检索任务的建议。 AI

影响 突出了像 DINOv2 这样的自监督模型在没有进一步微调的情况下,在细粒度检索任务中可能存在的局限性。

排序理由 用户报告的针对特定下游任务的不同自监督和对比学习模型的基准比较。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/MachineLearning 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

DINOv2 在细粒度分类任务中表现逊于 SigLIP

报道来源 [1]

  1. r/MachineLearning TIER_1 English(EN) · /u/psy_com ·

    DINOv2 way worse than SigLIP in k-NN. Is this expected? [R]

    <!-- SC_OFF --><div class="md"><p>Doing a bachelor thesis on fine-grained car classification (telling apart VW Golf generations from listing photos). Simple setup: frozen encoder → embeddings → weighted k-NN.</p> <p>On my small dataset (175 train / 132 test):</p> <ul> <li>SigLIP2…