Bayesian aggregator

新研究揭示众包聚合方法普遍存在校准不准问题

一篇新发表在arXiv上的研究论文，调查了众包聚合器的校准问题，发现诸如多数投票和基于模型的聚合器等常用技术可能存在严重的校准不准。研究表明，虽然贝叶斯聚合器在其数据生成模型下校准完美，但加权多数投票的精确校准具有高度限制性。实证研究中，该研究观察到在大量基于人类和LLM的众包数据集上存在系统性的校准不准。为解决此问题，提出了一种新颖的后验校准程序，该程序在应用温度缩放之前聚合多个聚合器，从而提高了校准和准确性，尤其是在高冗余场景下。