实体
ChaosNLI
ChaosNLI
PulseAugur coverage of ChaosNLI — every cluster mentioning ChaosNLI across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Apple ML Research：标注需求因评估指标而异
Apple Machine Learning Research 发表了一篇论文，详细介绍了一种名为“Metric-Dependent Annotation Saturation”（依赖于指标的标注饱和度）的方法。该方法提出，从标签分布中捕获有意义信号所需的标注者数量取决于所使用的具体评估指标。例如，在自然语言推理（NLI）模型中，实现熵相关性收敛比实现分布匹配需要更多的标注者。研究还强调，软标签（代表细微的决策边界）比独热标签提供更好…
-
研究发现，AI模型的标注需求因评估指标而异
一篇新研究论文探讨了有效训练AI模型所需的标注者数量如何取决于所使用的具体评估指标。该研究聚焦于自然语言推断（NLI）模型，发现像熵相关性（entropy correlation）这样的指标需要更大的标注者池（20-50人）才能稳定，而像KL散度（KL divergence）这样的分布匹配指标则只需10名标注者即可收敛。这表明标注预算应根据预期的评估指标进行定制，而不是采用统一的方法。