研究人员审计了一个已部署的“人在回路”简历优先分类器,发现仅文档长度就能初步分类申请,导致精确度指标无效。他们还发现,标准的同意分数不能反映排名质量,并且不确定性抽样会增加委员会的阅读负担。研究表明,虽然LLM嵌入模型提高了初始区分度,但随着标签的积累,其影响会减弱,而本地交叉编码器在冷启动时能提供可比的增益,且无需传输数据。 AI
影响 强调了在文档分类中评估和部署“人在回路”AI系统的潜在陷阱,并为未来的应用提出了改进建议。
排序理由 该集群包含一篇详细介绍研究发现和系统审计的学术论文。
在 arXiv cs.IR (Information Retrieval) 阅读 →
- alphaXiv
- arXiv
- CatalyzeX
- Cross-Encoder
- CV Priority Sorter
- DagsHub
- Gotit.pub
- Hugging Face
- linear model
- LLM embedding model
- ScienceCast
- Transformer encoder
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →