Hamming agreement

新框架MLA增强了多标签任务中标注者间的一致性可靠性

研究人员推出了一种名为多标签一致性（MLA）的新框架，旨在改进多标签标注任务中标注者间可靠性的评估。与主要用于单标签场景的现有指标不同，MLA考虑了分配给每个项目的完整二元标签向量，通过平均成对汉明一致性来考虑联合选择和遗漏。该框架通过汇集边际、Gwet AC1和固定基线归一化提供了灵活性，并提供项目、标签和语料库级别的详细结果，以及条件最小一致性诊断。提供了Python实现，可进行透明且可解释的多标签一致性分析。