Extremal Regression

研究论文详述了极端数据驱动下的机器学习相变

一篇新发表在arXiv上的研究论文探讨了学习中的相变，特别是在极端回归问题（一种多示例学习MIL）中。该研究关注MIL中的常用技术——最大池化（max pooling）如何导致梯度消失。为解决此问题，研究人员提出用软最大值（softmax）近似最大值函数，其中锐度（sharpness）是一个可学习的参数。论文推导了最小模型中梯度流的投影，揭示了两种不同的相变：内在冻结相变（intrinsic freezing transition）和…