一篇新发表在arXiv上的研究调查了文本分类器中的非确定性,发现即使模型和输入文本保持不变,批次大小、硬件和推理引擎等因素也会改变预测结果。研究人员发现,虽然标签可能不会改变,但预测的概率质量会发生显著变化,尤其是在bfloat16精度下。研究强调,与判别式分类器相比,全生成式分类器更容易受到这些变化的影响,并提出了可复现文本分类的具体缓解策略。 AI
影响 强调了AI模型预测中可复现性潜在问题,影响了机器学习系统的信任度和可靠性。
排序理由 学术论文,详细阐述了机器学习模型中一个技术问题的系统性研究。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- bfloat16
- Computation and Language
- Hugging Face
- Same Text, Different Prediction: Serving-Context Nondeterminism in Text Classifiers
- single-precision floating-point format
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →