Barron 等人最近的一篇论文指出了 PyTorch 和 JAX 等常用机器学习库中 Softmax 和交叉熵函数存在的数值问题。研究人员证明,基于属性的测试(特别是使用 Hypothesis)可以发现这些问题。他们的工作还提出了一个更稳健的 Softmax 实现,解决了这些问题并支持因果注意力掩码,代码可在 GitHub 上获取。 AI
影响 强调了对核心机器学习函数进行严格数值稳定性测试的重要性,有望带来更可靠的人工智能模型。
排序理由 该集群包含一篇研究论文,详细介绍了机器学习库函数中的数值问题及提出的解决方案。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →