CIFAR-10H
PulseAugur coverage of CIFAR-10H — every cluster mentioning CIFAR-10H across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AI模型不确定性未能反映人类在图像任务上的分歧
一项发表在Hugging Face的Daily Papers上的新研究调查了AI模型的不确定性是否与人类在图像标注任务上的分歧相关。研究人员使用了FER+和CIFAR-10H数据集，这些数据集为每张图像提供了多个标注以捕捉歧义，并评估了三种架构的八个预训练模型。研究结果表明，模型不确定性与人类分歧之间的相关性很弱，这表明当前的不确定性量化方法可能无法可靠地识别出人类认为模棱两可的实例。这突显了一个关键的失败案例，即模型可以自信地预测一…
-
新的保边推理方法解决了机器学习中的标签噪声问题
研究人员开发了一种新的保边推理方法，以应对机器学习数据集中标签噪声的挑战。这种自适应技术即使在数据因噪声标签而偏离理想可交换性时，也能确保准确的不确定性量化并提供信息丰富的预测集。通过在合成数据集和真实世界数据集（包括BigEarthNet和CIFAR-10H）上的实验，证明了该方法的有效性。
-
软标签训练通过使用完整的标注分布来提高分类器准确性
研究人员提出了一种名为软标签训练的新型监督分类器训练方法，该方法利用标注者标签的完整分布，而不是单一的多数投票。这种方法对于具有内在歧义的任务特别有益，例如自然语言推理或礼貌检测。跨三个数据集的实验表明，软标签训练的准确性可与硬标签相媲美或超越硬标签，显著减少与标注者分布的偏差，并产生反映人类分歧的不确定性模型。
-
新研究发现温度缩放无法处理软标签
一项新的研究论文挑战了温度缩放方法在模型校准方面的有效性，尤其是在处理软标签或分布性人类标签时。研究发现，假设确定性独热标签的温度缩放方法，在直接对软标签进行校准的预言机（oracle）面前表现持续不佳。这种校准差距在语言模型中比在视觉模型中更大，并且随着模型规模的增大而增加。研究结果表明，在标签模糊性固有的安全关键应用中，当前的校准方法可能无法准确反映模型的可靠性。